Archivos robots.txt de ejemplo

robots.txt es un archivo de texto en la raíz del sitio: le dice a los rastreadores qué secciones recorrer y cuáles dejar en paz. Abajo hay archivos listos que puedes poner tal cual: uno normal de trabajo, los valores por defecto de los CMS populares, el bloqueo de rastreadores de IA y scrapers, y casos límite para probar tu propio analizador

Lo básico

Archivo de muestra: Un archivo normal de trabajo: el panel cerrado y el sitemap declarado
Un archivo normal de trabajo: el panel cerrado y el sitemap declarado basic
273 b
↓
Archivo de muestra: Todo abierto: el acceso total lo concede un Disallow con valor vacío
Todo abierto: el acceso total lo concede un Disallow con valor vacío allow all
188 b
↓
Archivo de muestra: Todo cerrado: el archivo habitual de un entorno de pruebas
Todo cerrado: el archivo habitual de un entorno de pruebas disallow all
234 b
↓
Archivo de muestra: Un archivo vacío, cero bytes
Un archivo vacío, cero bytes empty 0 b
0 b
↓

Valores por defecto de los CMS populares

Archivo de muestra: wp-admin cerrado, con admin-ajax.php permitido de nuevo
wp-admin cerrado, con admin-ajax.php permitido de nuevo WordPress
318 b
↓
Archivo de muestra: Lo mismo más el carrito, la compra y los enlaces de filtros
Lo mismo más el carrito, la compra y los enlaces de filtros WooCommerce
407 b
↓
Archivo de muestra: Directorios del sistema y el Crawl-delay que viene de serie
Directorios del sistema y el Crawl-delay que viene de serie Drupal
554 b
↓
Archivo de muestra: Cortar los parámetros de navegación por facetas y de sesión
Cortar los parámetros de navegación por facetas y de sesión Magento 2
527 b
↓
Archivo de muestra: Lo que sirve la propia plataforma, editable solo desde la plantilla
Lo que sirve la propia plataforma, editable solo desde la plantilla Shopify
592 b
↓
Archivo de muestra: Solo los directorios del sistema, el contenido queda abierto
Solo los directorios del sistema, el contenido queda abierto Joomla
438 b
↓

Soluciones listas para tareas comunes

Archivo de muestra: Cerrar el sitio a la IA: entrenar y responder una pregunta son bots distintos
Cerrar el sitio a la IA: entrenar y responder una pregunta son bots distintos AI bots 12 agents
834 b
↓
Archivo de muestra: Cortar escáneres SEO y recolectores de enlaces sin perder tráfico de búsqueda
Cortar escáneres SEO y recolectores de enlaces sin perder tráfico de búsqueda scrapers
554 b
↓
Archivo de muestra: Frenar el rastreo: Google ignora la directiva, Bing y Yandex no
Frenar el rastreo: Google ignora la directiva, Bing y Yandex no crawl-delay
423 b
↓
Archivo de muestra: Reglas distintas para cada rastreador, el grupo general al final
Reglas distintas para cada rastreador, el grupo general al final multi-agent
635 b
↓
Archivo de muestra: Navegación por facetas: filtros cerrados, paginación abierta a propósito
Navegación por facetas: filtros cerrados, paginación abierta a propósito params
767 b
↓
Archivo de muestra: Seis sitemaps a la vez, incluidos los comprimidos con gzip
Seis sitemaps a la vez, incluidos los comprimidos con gzip sitemaps 6 lines
531 b
↓

Casos límite

Archivo de muestra: Un BOM UTF-8 antes de la primera línea, y por él se pierde la regla
Un BOM UTF-8 antes de la primera línea, y por él se pierde la regla BOM
77 b
↓
Archivo de muestra: Saltos de línea CRLF, el archivo guardado en Windows
Saltos de línea CRLF, el archivo guardado en Windows CRLF
310 b
↓
Archivo de muestra: Los comodines * y $, y qué regla gana cuando coinciden varias
Los comodines * y $, y qué regla gana cuando coinciden varias wildcards
622 b
↓
Archivo de muestra: Comentarios en la misma línea y la trampa de una línea vacía dentro del grupo
Comentarios en la misma línea y la trampa de una línea vacía dentro del grupo comments
1.1 Kb
↓
Archivo de muestra: Roto a propósito: erratas, falta de dos puntos, una regla sin grupo
Roto a propósito: erratas, falta de dos puntos, una regla sin grupo broken
683 b
↓
Archivo de muestra: Más allá del límite: 11 089 reglas, solo se leen los primeros 500 KiB
Más allá del límite: 11 089 reglas, solo se leen los primeros 500 KiB oversize 512 KiB
520 Kb
↓

🧠 Qué regla gana

Un rastreador obedece exactamente a un grupo: aquel cuyo User-agent coincide con él de forma más precisa. No lee además el grupo del asterisco, así que las reglas nunca se suman. Dentro de ese grupo gana la coincidencia de ruta más larga, y lo que decide es la longitud del patrón, no el orden de las líneas: Allow: /wp-admin/admin-ajax.php gana a Disallow: /wp-admin/ aunque esté más abajo. En caso de empate gana Allow. Solo hay dos caracteres especiales: * es cualquier secuencia de caracteres y $ marca el final de la dirección. Y lo que todo el mundo olvida: el archivo bloquea el rastreo, no la indexación. Una página enlazada desde otros sitios puede aparecer en los resultados aunque esté prohibida aquí, solo que sin descripción. Para sacarla del índice hace falta la cabecera X-Robots-Tag o la metaetiqueta noindex, y para eso la página tiene que poder rastrearse.

Googlebot /wp-admin/admin-ajax.php User-agent one group only longest match not line order Allow rules in the group Disallow: /wp-admin/ 11 Allow: /wp-admin/admin-ajax.php 24 24 > 11 longer pattern wins crawling, not indexing: a blocked URL can still appear in results