Índice:
Como usar Googlebot?
Dentro da ferramenta, acesse a opção “Rastreamento” e depois “Erros de rastreamento”. Na aba “Busca de robots. txt”, é possível visualizar se o Googlebot teve algum problema para rastrear o seu site nos últimos 90 dias. Aliás, dentro da opção “Rastreamento” também existem as “Estatísticas de rastreamento”.
Como usar o arquivo robots txt?
Como o arquivo é salvo diretamente na pasta raiz do site, acessar os arquivos robots. txt de outras páginas é bem simples: basta digitar o endereço da página no seu navegador e adicionar o comando “/robots. txt” ao final da URL.
Como definir robots?
txt é um arquivo de texto que fica hospedado na raiz do site e apresenta instruções aos robôs dos buscadores, como o Google. No arquivo robots. txt, é possível indicar quais diretórios não devem ser rastreados, arquivos que não devem ser indexados e onde estão os Sitemaps, por exemplo.