Arquivos robots.txt de exemplo

robots.txt é um arquivo de texto na raiz do site: ele diz aos rastreadores quais seções percorrer e quais deixar em paz. Abaixo estão arquivos prontos que você pode usar como estão: um comum de trabalho, os padrões dos CMSs populares, o bloqueio de rastreadores de IA e scrapers, e casos limite para testar o seu próprio parser

O básico

Arquivo de exemplo: Um arquivo comum de trabalho: painel fechado e sitemap declarado
Um arquivo comum de trabalho: painel fechado e sitemap declarado basic
273 b
↓
Arquivo de exemplo: Tudo aberto: o acesso total vem justamente de um Disallow sem valor
Tudo aberto: o acesso total vem justamente de um Disallow sem valor allow all
188 b
↓
Arquivo de exemplo: Tudo fechado: o arquivo habitual de um ambiente de homologação
Tudo fechado: o arquivo habitual de um ambiente de homologação disallow all
234 b
↓
Arquivo de exemplo: Um arquivo vazio, zero bytes
Um arquivo vazio, zero bytes empty 0 b
0 b
↓

Padrões dos CMSs populares

Arquivo de exemplo: wp-admin fechado, com admin-ajax.php liberado de volta
wp-admin fechado, com admin-ajax.php liberado de volta WordPress
318 b
↓
Arquivo de exemplo: O mesmo mais o carrinho, o checkout e os links de filtros
O mesmo mais o carrinho, o checkout e os links de filtros WooCommerce
407 b
↓
Arquivo de exemplo: Diretórios de sistema e o Crawl-delay que já vem de fábrica
Diretórios de sistema e o Crawl-delay que já vem de fábrica Drupal
554 b
↓
Arquivo de exemplo: Cortar os parâmetros de navegação facetada e de sessão
Cortar os parâmetros de navegação facetada e de sessão Magento 2
527 b
↓
Arquivo de exemplo: O que a própria plataforma entrega, editável só pelo tema
O que a própria plataforma entrega, editável só pelo tema Shopify
592 b
↓
Arquivo de exemplo: Somente os diretórios de sistema, o conteúdo fica aberto
Somente os diretórios de sistema, o conteúdo fica aberto Joomla
438 b
↓

Soluções prontas para tarefas comuns

Arquivo de exemplo: Fechar o site para IA: treinar e responder a uma pergunta são bots diferentes
Fechar o site para IA: treinar e responder a uma pergunta são bots diferentes AI bots 12 agents
834 b
↓
Arquivo de exemplo: Cortar scanners de SEO e coletores de links sem perder tráfego de busca
Cortar scanners de SEO e coletores de links sem perder tráfego de busca scrapers
554 b
↓
Arquivo de exemplo: Desacelerar o rastreamento: o Google ignora a diretiva, Bing e Yandex não
Desacelerar o rastreamento: o Google ignora a diretiva, Bing e Yandex não crawl-delay
423 b
↓
Arquivo de exemplo: Regras diferentes para cada rastreador, o grupo geral por último
Regras diferentes para cada rastreador, o grupo geral por último multi-agent
635 b
↓
Arquivo de exemplo: Navegação facetada: filtros fechados, paginação aberta de propósito
Navegação facetada: filtros fechados, paginação aberta de propósito params
767 b
↓
Arquivo de exemplo: Seis sitemaps de uma vez, incluindo os compactados com gzip
Seis sitemaps de uma vez, incluindo os compactados com gzip sitemaps 6 lines
531 b
↓

Casos limite

Arquivo de exemplo: Um BOM UTF-8 antes da primeira linha, e por causa dele a regra se perde
Um BOM UTF-8 antes da primeira linha, e por causa dele a regra se perde BOM
77 b
↓
Arquivo de exemplo: Quebras de linha CRLF, o arquivo salvo no Windows
Quebras de linha CRLF, o arquivo salvo no Windows CRLF
310 b
↓
Arquivo de exemplo: Os curingas * e $, e qual regra vence quando várias casam
Os curingas * e $, e qual regra vence quando várias casam wildcards
622 b
↓
Arquivo de exemplo: Comentários na mesma linha e a armadilha de uma linha vazia dentro do grupo
Comentários na mesma linha e a armadilha de uma linha vazia dentro do grupo comments
1.1 Kb
↓
Arquivo de exemplo: Quebrado de propósito: erros de digitação, dois-pontos faltando, regra sem grupo
Quebrado de propósito: erros de digitação, dois-pontos faltando, regra sem grupo broken
683 b
↓
Arquivo de exemplo: Além do limite de análise: 11 089 regras, só os primeiros 500 KiB são lidos
Além do limite de análise: 11 089 regras, só os primeiros 500 KiB são lidos oversize 512 KiB
520 Kb
↓

🧠 Qual regra vence

Um rastreador obedece a exatamente um grupo: aquele cujo User-agent casa com ele de forma mais precisa. Ele não lê também o grupo do asterisco, portanto as regras nunca se somam. Dentro desse grupo vence a correspondência de caminho mais longa, e o que decide é o comprimento do padrão, não a ordem das linhas: Allow: /wp-admin/admin-ajax.php vence Disallow: /wp-admin/ mesmo estando abaixo. Em caso de empate vence Allow. Só existem dois caracteres especiais: * é qualquer sequência de caracteres e $ marca o fim do endereço. E o que todo mundo esquece: o arquivo bloqueia o rastreamento, não a indexação. Uma página para a qual outros sites apontam pode aparecer nos resultados mesmo estando proibida aqui, apenas sem descrição. Para tirá-la do índice é preciso o cabeçalho X-Robots-Tag ou a meta tag noindex, e para isso a página precisa justamente poder ser rastreada.

Googlebot /wp-admin/admin-ajax.php User-agent one group only longest match not line order Allow rules in the group Disallow: /wp-admin/ 11 Allow: /wp-admin/admin-ajax.php 24 24 > 11 longer pattern wins crawling, not indexing: a blocked URL can still appear in results