Pilotiko feature : disponible

robots.txt: ¿qué le dice este archivo a los robots de los buscadores?

Un pequeño archivo de texto en la raíz del sitio, a menudo olvidado, que sin embargo puede volver invisible un sitio entero.

El robots.txt es un archivo de texto ubicado en la raíz de un sitio, en la dirección /robots.txt, que indica a los robots de rastreo qué direcciones pueden visitar. Sirve sobre todo para evitar sobrecargar el servidor. No oculta una página de Google y no protege ningún dato.

Try 30 days free

30 days free, no credit card.

Por Pilotiko editorial team · Actualizado el

En resumen

  • Norma oficial: RFC 9309 (Robots Exclusion Protocol), publicada en septiembre de 2022.
  • Siempre en la dirección /robots.txt, en minúsculas, codificado en UTF-8.
  • No es una medida de seguridad: los robots que lo respetan lo hacen voluntariamente.
  • Para excluir una página de los resultados se usa noindex, no robots.txt.

¿Para qué sirve el archivo robots.txt?

Google lo presenta como el archivo que indica a los robots de rastreo las direcciones a las que pueden acceder en su sitio, principalmente para evitar sobrecargar el servidor con solicitudes [1].

Desde septiembre de 2022, el protocolo está descrito por la norma RFC 9309 de la IETF. El archivo debe encontrarse en la dirección /robots.txt, en el primer nivel del sitio, con un nombre totalmente en minúsculas, codificado en UTF-8 y servido como texto plano [2].

¿Cómo se leen las reglas?

El archivo se divide en grupos. Cada grupo comienza con una o varias líneas user-agent, que nombran los robots a los que se dirige, seguidas de reglas allow (permitir) o disallow (prohibir) [2].

Para una dirección dada, el robot aplica la regla más específica, es decir, aquella cuya ruta coincide en más caracteres. Si una regla allow y una regla disallow son equivalentes, allow debería prevalecer. Si ninguna regla coincide, la dirección está permitida [2].

Lectura de algunas reglas de un robots.txt de pyme
ReglaDirección solicitadaResultado
Disallow: /admin//admin/facturesProhibida
Disallow: /admin/ y Allow: /admin/aide/admin/aidePermitida: la regla allow es más larga
Ninguna regla sobre /services//services/thermopompePermitida
Disallow: /todas las direccionesTodo el sitio queda prohibido para el robot al que se dirige

Lógica de coincidencia más larga descrita en la RFC 9309 [2].

¿Por qué robots.txt no oculta una página?

Google es explícito: robots.txt no es un mecanismo para mantener una página fuera de Google. Una dirección prohibida puede indexarse de todos modos si otros sitios enlazan a ella, y entonces su dirección puede mostrarse en los resultados. Para excluir una página se necesita una directiva noindex o una protección con contraseña [1].

La norma lo reitera: estas reglas no constituyen una forma de autorización de acceso [2]. Un robot malintencionado puede simplemente ignorarlas. Nunca cuente con robots.txt para proteger formularios enviados, facturas o expedientes de clientes.

Tampoco sirve para elegir la versión principal de una página duplicada: Google desaconseja usar robots.txt para ello y recomienda la etiqueta canónica [4].

¿Qué ocurre si el archivo no existe o devuelve un error?

¿Se puede indicar el sitemap en este archivo?

Sí. El protocolo sitemaps.org permite añadir una línea «Sitemap:» seguida de la dirección completa del sitemap XML, en cualquier lugar del archivo, y registrar varios [3]. Es una forma sencilla de señalar el mapa del sitio a todos los buscadores.

¿Qué errores de robots.txt resultan más costosos?

  • Publicar el «Disallow: /» del entorno de pruebas al lanzar el nuevo sitio.
  • Bloquear los archivos CSS o las imágenes que la página necesita para mostrarse correctamente.
  • Prohibir una página para retirarla de Google, lo que impide que el robot vea la directiva noindex.
  • Creer que una página «secreta» listada en disallow está protegida: el archivo es público y la revela.
  • Dejar que el servidor responda con un error 5xx en /robots.txt.

¿Qué hace Pilotiko con robots.txt?

Para el sitio de empresa que construye y aloja, Pilotiko genera el archivo robots.txt al mismo tiempo que el mapa del sitio, los datos estructurados y el archivo llms.txt. Es una base de posicionamiento orgánico; no reemplaza una protección real de las páginas privadas.

Preguntas frecuentes

¿Dónde debe estar el archivo robots.txt?

En la raíz del sitio, en la dirección exacta /robots.txt, en minúsculas. Un archivo colocado en una subcarpeta no es tenido en cuenta por los robots.

¿Puede robots.txt retirar una página de Google?

No. Una página prohibida puede seguir indexada si otros sitios enlazan a ella. Para retirarla, utilice una directiva noindex y deje que el robot acceda a la página para que la lea.

¿Necesita mi sitio un robots.txt?

No es obligatorio: según la RFC 9309, si el archivo no existe (respuesta 404), el robot puede rastrear todo el sitio. Un archivo sencillo sigue siendo útil para indicar el sitemap y excluir las secciones técnicas.

¿Todos los robots respetan robots.txt?

No. Google recuerda que otros robots pueden ignorarlo, y la norma precisa que estas reglas no son una autorización de acceso. Los datos sensibles deben protegerse de otra manera.

¿Cuánto tarda en aplicarse una modificación?

La RFC 9309 indica que los robots no deberían usar una copia en caché durante más de 24 horas, salvo que el archivo sea inaccesible. Por lo tanto, una modificación puede tardar hasta un día en ser leída.

¿Qué diferencia hay entre robots.txt y llms.txt?

El robots.txt da reglas de acceso a los robots de rastreo. El llms.txt es una propuesta distinta que resume el contenido de un sitio para los modelos de lenguaje; no bloquea ni autoriza nada.

Fuentes

  1. Google Search Central, Présentation du fichier robots.txt (consultado el 15 de octubre de 2026).
  2. IETF (RFC Editor), RFC 9309 : Robots Exclusion Protocol (consultado el 15 de octubre de 2026).
  3. sitemaps.org, Sitemaps XML format (consultado el 15 de octubre de 2026).
  4. Google Search Central, Spécifier une URL canonique avec rel="canonical" et d'autres méthodes (consultado el 15 de octubre de 2026).

Your whole business, on one screen.

Each department is a room. Pilotiko prepares the work; you approve with one click.

Try 30 days free

The Pilotiko office of a sample company: each department is a room.
  • Call answered
  • Appointment confirmed
  • Email reply ready
  • Invoice prepared

Pruebe la oficina con su equipo

30 días gratis.

Pruebe 30 días gratis