Como Otimizar o robots.txt do WordPress para SEO

Por quê é importante ter o arquivo robots.txt?
A falta desse arquivo não vai impedir que mecanismos de busca, como o Google, de rastrear indexar o seu site, porém é importante possuir esse arquivo. Este arquivo é onde os mecanismos de busca irão procurar pelo sitemap do seu site, a não ser que você já o tenha enviado usando as Ferramentas par Webmasters do Google (Google Webmaster Tools)

Onde esse arquivo deve ficar?
O arquivo robots.txt fica na raiz do seu site. Você precisará usar um programa de FTP ou o próprio cPanel da sua hospedagem para localizá-lo ou configurá-lo.

Como criar esse arquivo?
Este processo é bem simples. Basta criar um arquivo de texto como o nome robots.txt, você poderá editá-lo usando o Bloco de Notas.

Como usar o arquivo robots.txt?
Na primeira linha do arquivo geralmente é preenchida com “User-Agent”, que são os robôs de busca com os quais estamos tentando nos comunicar. Googlebot e Bingbot são exemplos desses robôs. Mas podemos usar um asterisco * para chamar todos os robôs. Você também pode permitir ou negar a indexação de determinados diretórios. Veja o exemplo abaixo:

User-Agent: *
Allow: /wp-content/uploads/ /*este comando permite a indexação das fotos do seu site, por exemplo*/
Disallow: /wp-content/plugins/ /*este comando restringe a indexação de tudo o que estiver dentro da pasta "plugins"*/

Adicionando o arquivo sitemap.xml no robots.txt

User-Agent: *
Allow: /wp-content/uploads/ 
Disallow: /wp-content/plugins/ 

Sitemap: http://www.seusite.com.br/sitemap.xml
Sitemap: http://www.seusite.com.br/blog/sitemap.xml

Caso você utilize um plugin de SEO no seu WordPress, o mesmo tentará realizar a inserção do sitemap.xml no arquivo robots.txt

Deixe sua Pergunta ou Comentário:

O seu endereço de email não será publicado Campos obrigatórios são marcados *

Por favor, digite os caracteres desta imagem na caixa de entrada

Por favor digite o código da imagem

Você pode usar estas tags e atributos de HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>