Gerador de robots.txt
Crie um arquivo robots.txt limpo e válido para o seu site. Defina regras de rastreamento, adicione sitemaps e copie o resultado para a raiz do site.
Carregar existente
Importado com avisos
Sitemaps
Adicione uma ou mais URLs de sitemap. Elas são escritas no final do arquivo robots.txt.
O Yandex usa isso para identificar seu domínio preferido. Deixe em branco se não precisar.
Grupo de User-agent
As regras deste bloco se aplicam aos user-agents listados abaixo.
Segundos entre solicitações. O Google ignora isso; outros rastreadores podem usar.
Resultado do robots.txt
User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Salve o resultado como robots.txt na raiz do site (por exemplo, https://example.com/robots.txt).
Envie para o servidor ou adicione pelo gerenciador de arquivos da hospedagem ou do CMS. Os rastreadores podem demorar para notar as mudanças.
Salvar no navegador
Guarda o estado desta ferramenta no armazenamento local deste dispositivo. Você pode carregá-lo depois em Carregar existente.
Salvar atualiza o item atual. Use Salvar como novo para manter os dois.
Carregar dos salvos
Escolha uma versão desta ferramenta salva antes neste navegador.
· Atual
Nenhum item salvo corresponde a essa busca.
Carregar da URL
Busque o robots.txt de um site público. Informe a URL do site ou um link direto para o robots.txt.
Se você informar a URL inicial, vamos buscar /robots.txt na raiz do site.
Colar robots.txt
Cole um robots.txt existente para importar as regras no gerador.
Excluir item salvo
Isso remove a cópia salva apenas deste navegador.
Excluir ?
Crie um robots.txt em minutos
Um arquivo robots.txt diz aos rastreadores quais áreas do site eles podem e não podem rastrear. É uma das formas mais simples de orientar o acesso dos mecanismos de busca e costuma evitar o rastreamento de páginas, pastas ou arquivos desnecessários.
O gerador de robots.txt ajuda a criar um arquivo válido sem decorar a sintaxe. Adicione regras de rastreamento, grupos de user-agent e URLs de sitemap, e copie o arquivo pronto para o site.
Allow e Disallow
As duas diretivas mais comuns do robots.txt são Allow e Disallow. Disallow pede aos rastreadores que não solicitem as URLs correspondentes, e Allow cria exceções dentro de trechos bloqueados mais amplos.
Na maioria dos sites, um grupo User-agent: * é suficiente. Crie grupos extras só quando rastreadores específicos, como Googlebot ou Bingbot, precisarem de regras diferentes.
Ajude os mecanismos de busca a encontrar seus sitemaps
Adicionar uma ou mais diretivas Sitemap ajuda os mecanismos de busca a encontrar seus sitemaps XML. Isso é especialmente útil em sites grandes ou que publicam sitemaps separados para páginas, imagens, vídeos, notícias ou outros tipos de conteúdo. Depois de adicionar a URL de um sitemap, use o validador de sitemap para confirmar que o arquivo é válido e pode ser alcançado.
O que este gerador oferece
- Crie arquivos robots.txt com vários grupos de user-agent e regras de rastreamento.
- Veja o arquivo atualizar na hora enquanto você edita.
- Copie o robots.txt pronto com um clique.
- Valide caminhos, URLs de sitemap e valores de crawl-delay.
- Importe um robots.txt existente de uma URL, de um rascunho salvo ou de texto colado.
- Salve rascunhos no navegador.
- Adicione uma ou mais URLs de sitemap e uma diretiva Host opcional.
Quando usar robots.txt?
Use robots.txt quando quiser orientar como os rastreadores acessam o site. É comum bloquear áreas de admin, buscas internas, conteúdo temporário, ambientes de desenvolvimento ou outras seções que não precisam ser rastreadas.
robots.txt controla o rastreamento, não permissões de acesso. Não deve proteger conteúdo privado ou arquivos confidenciais, e não garante que páginas bloqueadas não apareçam nos resultados. Para páginas que devem continuar acessíveis, mas não indexadas, use a diretiva noindex.
Publicar o arquivo robots.txt
Quando o robots.txt estiver pronto, salve-o como robots.txt e envie para a raiz do site, para ficar disponível em:
https://yourdomain.com/robots.txt
Boas práticas
- Teste o robots.txt no Google Search Console depois de publicar.
- Não use robots.txt para proteger conteúdo sensível: use autenticação.
- Evite bloquear CSS, JavaScript ou imagens de que os mecanismos de busca precisam para renderizar as páginas.
- Crie grupos de user-agent separados só quando rastreadores diferentes realmente precisarem de regras diferentes.
- Mantenha o robots.txt simples e bloqueie só os caminhos que você não quer rastreados.
- robots.txt controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer nos resultados se outras páginas apontarem para ela.
Privacidade
Tudo o que você cria fica no seu dispositivo.
- Tudo o que você cria e edita fica no navegador.
- Não é preciso se cadastrar nem criar uma conta.
- Os rascunhos ficam no seu dispositivo, não nos servidores da Contismo.
Perguntas frequentes
robots.txt é um arquivo de texto na raiz do site que dá instruções aos rastreadores sobre quais partes devem ou não ser rastreadas. Só vale para rastreadores que escolhem seguir o padrão.
Envie o arquivo para a raiz do site para que fique em https://yourdomain.com/robots.txt. Os mecanismos de busca procuram nesse lugar; em outro endereço o efeito não será o esperado.
Não necessariamente. Se você não precisa restringir o rastreamento nem anunciar o sitemap XML, o site pode funcionar bem sem um. Muitos sites pequenos não precisam de robots.txt.
Não. Cada site deve ter um único robots.txt na raiz do domínio. Esse arquivo pode ter vários grupos de user-agent, regras de rastreamento e diretivas Sitemap.
robots.txt controla se os rastreadores são orientados a rastrear uma URL. As tags meta robots e o cabeçalho HTTP X-Robots-Tag controlam se o conteúdo pode ser indexado depois de rastreado.
Use robots.txt para o rastreamento do site inteiro e meta robots quando precisar de controle de indexação por página.
Sim. Bloquear uma página no robots.txt não garante que ela não apareça nos resultados. Se outros sites apontarem para ela, os mecanismos de busca podem indexar a URL sem rastrear o conteúdo. Use noindex se quiser evitar a indexação.
Sim. Você pode adicionar várias entradas Sitemap a um robots.txt. Isso é comum em sites que publicam sitemaps separados para páginas, imagens, vídeos, notícias ou outros tipos de conteúdo.
Sim. Você pode importar de uma URL pública, carregar um rascunho salvo no navegador ou colar o conteúdo direto no gerador.
Não. Os rascunhos ficam no navegador e não são enviados aos servidores da Contismo. Ao importar de uma URL, só essa URL é enviada para buscar o arquivo.
