Resposta curta: para criar um arquivo robots.txt online, abra o gerador de robots.txt do PromoPilot, selecione uma predefinição (Personalizado, Permitir tudo, Negar tudo, WordPress, Laravel ou Next.js), insira os caminhos para "Negar" e "Permitir", insira o endereço do site na linha "Mapa do site" e, opcionalmente, marque "Atraso na indexação" ou "Bloquear rastreadores de IA". O arquivo preenchido aparecerá à direita — você pode copiá-lo ou baixá-lo. É gratuito e não requer cadastro.
Eu escrevo o arquivo robots.txt para cada novo site e sei como é fácil cometer erros manualmente: um espaço extra, uma barra esquecida, uma regra fora de um bloco. O gerador de robots.txt elimina esse problema — você pensa no que fechar, não na sintaxe. Abaixo, explicaremos como usá-lo, o que fechar e onde colocar o arquivo finalizado.
O que faz o gerador de robots.txt?
O gerador funciona como um formulário, em vez de um editor de texto. Você seleciona as configurações e a ferramenta as reúne em um arquivo válido e o exibe em uma pré-visualização em tempo real.
| Configurando | O que define | Por que o site precisa disso? |
|---|---|---|
| Predefinido | Personalizado, Permitir tudo, Negar tudo, WordPress, Laravel, Next.js | Um ponto de partida pronto para o seu motor. |
| URL do site | Endereço para a linha Sitemap | Os robôs encontram o mapa do site sozinhos. |
| Caminhos bloqueados | Seções que não devem ser digitalizadas, uma por linha. | O robô não perde tempo no painel de administração e nas páginas de serviço. |
| Permitir caminhos | Exceções em seções fechadas | Abra o arquivo desejado em uma pasta fechada. |
| Atraso de rastejamento (10 segundos) | Pausa entre solicitações do robô | Aliviar a carga em um servidor fraco para robôs que levam isso em consideração. |
| Bloqueando rastreadores de IA | Proibição para GPTBot, Claude e outros bots de IA | Controle quem usa seu conteúdo |
| Pré-visualizar, copiar, baixar | O arquivo robots.txt finalizado | Você pode fazer o upload para o servidor imediatamente. |
É importante entender a limitação: o gerador cria um arquivo, mas não verifica um arquivo existente. Se você já possui um arquivo robots.txt e deseja encontrar erros nele, precisa analisá-lo — o artigo na próxima seção é dedicado a isso.
Como criar um arquivo robots.txt online?
- Abra o gerador de robots.txt.
- Selecione uma predefinição para o seu motor. Se o seu motor não estiver listado, escolha "Personalizado".
- Digite o endereço do site —
https://example.com. Isso criará uma linhaSitemap. - Adicione caminhos proibidos, um por linha:
/admin/,/tmp/,/search/. - Se necessário, adicione a opção Permitir exceções dentro de pastas restritas, como
/uploads/images/. - Marque as caixas: Sitemap, Atraso na indexação, Bloquear rastreadores de IA.
- Copie ou baixe o arquivo e faça o upload para a raiz do site.
No lado esquerdo da página encontram-se as configurações e, no lado direito, uma pré-visualização em tempo real do arquivo com os botões "Copiar" e "Baixar robots.txt".
O arquivo deve estar localizado estritamente na raiz do domínio: https://example.com/robots.txt. Os robôs não o encontrarão na pasta /blog/robots.txt ou em outro subdomínio — cada subdomínio tem seu próprio arquivo robots.txt.
O local exato onde o arquivo baixado deve ser carregado depende da plataforma:
- Hospedagem padrão - através do gerenciador de arquivos do painel ou FTP para a pasta onde a página principal está localizada (geralmente
public_htmlouwww). - WordPress, se não houver um arquivo físico, o sistema utiliza um arquivo robots.txt virtual. Fazer o upload desse arquivo para a raiz o substitui; a segunda opção é usar o editor de arquivos do plugin de SEO.
- Next.js e outros frameworks — o arquivo é colocado na pasta
publicou gerado a partir do código do projeto para que não se perca durante a próxima implantação. - Construtores de sites - o arquivo geralmente é editado nas configurações de SEO em vez de ser carregado manualmente.
O arquivo deve ser nomeado robots.txt em letras minúsculas e salvo em codificação UTF-8 como texto simples. Após o download, abra-o no seu navegador: se você vir o texto, está tudo correto.
O que deve e o que não deve ser fechado no arquivo robots.txt?
O princípio fundamental: feche tudo o que não agrega valor à busca e desperdiça o tempo do robô. Não feche nada que seja essencial para o robô entender a página.
Normalmente fechado:
- Painel de administração e conta pessoal:
/admin/,/wp-admin/,/account/; - carrinho e finalização da compra:
/cart/,/checkout/; - pesquisa interna:
/search/,/?s=; - pastas de serviço e temporárias:
/tmp/,/cgi-bin/; - Inúmeras combinações de filtros e opções de classificação - ótimo, somente se houver páginas de destino separadas para os filtros necessários.
Nunca feche:
- CSS, JavaScript e imagens — sem eles, Google não verá a página da mesma forma que um humano;
- Catálogo, blog, fichas de produtos e páginas de destino;
- Páginas que você deseja remover do índice - para isso você precisa
noindex, e o robô deve ser capaz de lê-las.
Aqui está o arquivo que você receberá para uma loja WordPress típica com WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Em relação às flags. Google não leva em consideração o atraso de rastreamento — habilite-as apenas se o seu servidor estiver sofrendo com outros bots. Bloquear rastreadores de IA é uma decisão comercial: se você quer que ChatGPT, Gemini e Perplexity saibam sobre você e o recomendem, não bloqueie o acesso deles.
Outro ponto prático é a versão de teste do site. Para a versão de teste, use a predefinição "Negar tudo", mas certifique-se de substituir o arquivo após o lançamento: um Disallow: / esquecido é o que geralmente reduz o tráfego para novos sites.
Comparação: Gerador PromoPilot e outras maneiras de criar um arquivo robots.txt
| Caminho | O que é grátis? | Restrições | Para quem é indicado? |
|---|---|---|---|
| PromoPilot — Gerador de Robots.txt | Predefinições, Permitir e Bloquear, Mapa do Site, Atraso de Rastreamento, Bloqueio de bots de IA, download | Você precisa enviar o arquivo para o servidor por conta própria. | Para iniciantes e para quem não quer memorizar a sintaxe. |
| Editor em um plugin de SEO WordPress (por exemplo, Yoast SEO) | Editar um arquivo diretamente do painel de administração. | Apenas para WordPress, você escreve a sintaxe você mesmo | Para proprietários de sites WordPress |
| Arquivo robots.txt no Next.js | O arquivo robots.txt é gerado a partir do código do projeto. | Precisa-se de desenvolvedor | Projetos Next.js |
| Editor de texto | Liberdade total | É fácil cometer erros, não há pistas. | Para aqueles que conhecem o padrão de cor. |
Conclusão: O gerador é a maneira mais rápida de obter um arquivo válido sem precisar conhecer a sintaxe. O plugin e o código do projeto são convenientes quando o arquivo precisa ser alterado juntamente com o site.
O gerador é uma das 87 ferramentas de SEO gratuitas do PromoPilot. Após baixar o arquivo, verifique-o com um analisador de robots.txt e, para a linha do sitemap, use o gerador de sitemap.xml — ambos são abordados nos artigos adjacentes desta seção.
Limitações do gerador: o que ele não fará por você.
O gerador não conhece a estrutura do seu site. A configuração padrão WordPress fechará os caminhos de serviço típicos, mas não adivinhará que os filtros da sua loja estão em /filter/ e a pesquisa interna em /find/. Você precisará inserir esses caminhos manualmente.
O programa não envia o arquivo para o servidor nem verifica se o arquivo está acessível em /robots.txt com um código de status 200. Após o envio, abra o endereço em um navegador ou execute-o em um analisador sintático.
E não substitui noindex: se o objetivo é remover páginas dos resultados de busca, o robots.txt não é adequado. Por fim, o arquivo não protege seus dados: ele é público e qualquer pessoa pode ler quais seções você bloqueou. Segredos ficam ocultos por uma senha.
Quando uma ferramenta gratuita não é suficiente?
Gerar um arquivo leva cinco minutos. Decidir o que bloquear em um site com milhares de páginas dá muito trabalho. Você precisa de um especialista se:
- A loja possui centenas de combinações de filtros, e algumas delas geram tráfego;
- O site é multilíngue, hospedado em subdomínios ou com pastas separadas para cada idioma;
- Após editar o arquivo robots.txt, o tráfego caiu, e não está claro qual regra é a culpada;
- Você precisa alinhar o robots.txt, as meta tags, o link canônico e o sitemap em um único sistema.
O que posso fazer pelo seu site?
Meu nome é Valeriy Danyuk, sou desenvolvedor e especialista em SEO com 12 anos de experiência e mais de 200 clientes. Um arquivo robots.txt adequado faz parte de todos os sites que construo.
SEO e promoção
- Auditoria SEO completa: robots.txt, noindex, links canônicos e sitemap como um sistema unificado, não um conjunto de regras aleatórias.
- Um blog de SEO com inteligência artificial que gera leads orgânicos.
- Um site multilíngue sem tradutor — onde o robots.txt e o sitemap devem levar em consideração todos os idiomas.
Sites e lojas online
- Loja online WooCommerce: mais de 40 modelos, €299 — com robots.txt para carrinho, filtros e finalização da compra.
- Um site na 1001site, onde o mapa do site e a indexação são configurados automaticamente. Qual a diferença disso para um construtor de sites com assinatura paga? Análise de sites com Tilda versus análise de sites com inteligência artificial.
CRM, contabilidade e automação
- Um sistema de contabilidade mensal para uma loja online – um projeto para uma empresa da República Tcheca.
- QuestFlow é uma plataforma SaaS Telegram com inteligência artificial.
Mais no portfólio. Não tem certeza do que abordar? Envie-me o endereço do seu site pelo Telegram – sugerirei regras para a sua estrutura.
Resultado
- O gerador online de robots.txt cria um arquivo correto em cinco minutos: predefinições, caminhos, mapa do site e flags.
- Feche o painel de administração, a lixeira, a pesquisa e as pastas de serviço; não feche o CSS, o JS, o catálogo ou o blog.
- O arquivo robots.txt não remove páginas do índice - é para isso que serve
noindex. - Uma estrutura complexa, filtros e idiomas são motivos para confiar a configuração a um especialista ou construir um site no 1001site, onde a indexação já vem configurada por padrão.
Crie agora mesmo seu próprio arquivo robots.txt usando o gerador de robots.txt gratuito e, se tiver alguma dúvida sobre as regras, escreva-me no Telegram.
Fontes
- Página da ferramenta geradora de robots.txt do PromoPilot — configurações, predefinições e perguntas da página.
- Central de Pesquisa Google - Como criar e enviar um arquivo robots.txt.
- Documentação Next.js - arquivo de metadados robots.txt.
