O que é Robots.txt?
O Robots.txt é um arquivo de instrução para o robôs de busca, que serve principalmente para informar o que não deve ser acessado por eles, nem mesmo indexado nas buscas.
A Brasil na Web utiliza um robots.txt bem completo de instruções para todas as lojas virtuais, veja detalhes abaixo.
Como acessar o Robots.txt da minha loja virtual?
Digite no navegador: seudominio.com.br/robots.txt
Sua loja já vem com bloqueios importantes, prontos no robots.txt como por exemplo de:
- Páginas internas pós login de usuário (cliente ou afiliados incluido a página de checkout que nada server aos bots)
- Parâmetros de paginação, ordenação e limites que apenas reorganização conteúdos de página e que quando não bloqueados podem resultados em interpretação de conteúdo duplicado pelo bot.
- Painel administrativo
- Entre outras páginas que nada servem de conteúdo para bots.
Todo o restante que envolve o catálogo de produtos, páginas institucionais e blog são permitidos para indexação.
Como posso testar se uma URL da minha loja está permitida ou bloqueada para robôs de busca?
Para saber se uma determinada URL está bloqueada ou não, o Search Console tem a ferramenta de teste.
Acesse o seu Google Search Console > Menu > Rastreamento > Textar Robots.txt
Abaixo você verá um botão vermelho “TESTE” que você pode clicar e testar várias urls da loja e conferir que os bots estão liberados para acessar o conteúdo de valor!
Mas os curiosos que tentarem, via HTTP / HTTPS, acessar o Robots.txt para bisbilhotar, nada conseguirão ver.
