¿Cómo se crea un archivo robots.txt?
Contenido
Un archivo robots.txt se crea con un editor de texto sin formato, se guarda con el nombre robots.txt en codificación UTF-8 y se publica en la raíz del dominio. La guía explica qué reglas contiene, cómo se comprueba que funciona y qué límites tiene según la documentación de Google.
Contenido elaborado por Centria Group, agencia de SEO, GEO y AEO. Actualizado en octubre de 2026.
Qué es un archivo robots.txt y para qué sirve
Un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs de un sitio pueden acceder. Según la documentación de Google, se utiliza principalmente para evitar que las solicitudes de los rastreadores sobrecarguen el sitio.
La aclaración más importante es que robots.txt no es un mecanismo para impedir que una página aparezca en Google. Una URL bloqueada puede seguir apareciendo en los resultados de búsqueda, aunque sin descripción, si otras páginas la enlazan con texto descriptivo. Para que una página no aparezca, Google indica dos caminos: bloquear la indexación con la directiva noindex o proteger la página con contraseña. Esto corrige una idea frecuente en artículos antiguos, la de que el archivo sirve para proteger áreas sensibles: robots.txt es un archivo público y no sustituye a una contraseña.
Para una empresa mexicana con una tienda en línea o un sitio con muchas secciones internas, la utilidad práctica es ordenar el rastreo, de modo que los robots dediquen sus visitas a las páginas que importan y no a rutas sin valor para el buscador.
Cómo crear el archivo paso a paso
Google resume el proceso en cuatro pasos: crear un archivo llamado robots.txt, añadir reglas, subirlo a la raíz del sitio y probarlo.
Para crearlo sirve prácticamente cualquier editor de texto, como el Bloc de notas o TextEdit. Los procesadores de texto no resultan adecuados porque suelen guardar formatos propios y pueden añadir caracteres inesperados, como comillas curvas, que causan problemas a los rastreadores. Cuando el cuadro de diálogo lo permite, se guarda con codificación UTF-8.
Las reglas se organizan en grupos. Cada grupo empieza con una línea User-agent que indica a qué rastreador se aplica, y cada regla ocupa una línea. Un ejemplo tomado de la documentación de Google:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlEn este ejemplo, Googlebot no rastrea las URLs que empiezan por /nogooglebot/, el resto de los rastreadores puede acceder a todo el sitio y se informa la ubicación del sitemap. Por defecto, los rastreadores pueden acceder a todas las páginas que ninguna regla Disallow bloquee.
| Directiva | Función |
|---|---|
| User-agent | Indica a qué rastreador se aplica el grupo de reglas. Cada grupo comienza con esta línea. |
| Disallow | Señala una ruta que el rastreador indicado no debe rastrear. |
| Allow | Permite rastrear un subdirectorio o una página dentro de un directorio bloqueado. |
| Sitemap | Opcional. Indica la ubicación de un sitemap del sitio mediante una URL completa. |
La URL del sitemap debe ser completa, porque Google no comprueba alternativas con o sin www, ni con http o https.
Dónde se publica y qué alcance tiene
El archivo debe llamarse robots.txt y solo puede haber uno por sitio. Tiene que estar en la raíz del host al que se aplica. Para controlar el rastreo de https://www.example.com/, el archivo debe estar en https://www.example.com/robots.txt, y no dentro de un subdirectorio.
El alcance es limitado: las reglas de https://example.com/robots.txt solo se aplican a las rutas de ese protocolo, host y puerto. Un subdominio, como m.example.com, o la versión http del mismo dominio, necesitan su propio archivo. Cuando no hay acceso a la raíz, Google recomienda recurrir a un método alternativo, como las metaetiquetas.
Quienes usan un sistema de gestión de contenidos o un servicio de alojamiento como Wix o Blogger quizá no editen el archivo directamente. En esos casos, el propio servicio suele ofrecer una página de configuración para indicar a los buscadores qué páginas rastrear.
Cómo se prueba y se mantiene
Después de subir el archivo, Google recomienda dos comprobaciones. La primera consiste en abrir una ventana de navegación privada y visitar la dirección del archivo: si se ve el contenido, es de acceso público. La segunda es usar el informe de robots.txt de Search Console, que sirve para archivos ya accesibles en el sitio. Quienes desarrollan sitios también pueden probar el archivo en su propio equipo con la biblioteca de código abierto de robots.txt que Google publica.
Google aplica un límite de 500 kibibytes (KiB) a estos archivos y ignora el contenido que lo supere. Si el archivo crece demasiado, la recomendación es combinar reglas, por ejemplo, agrupando lo que se quiere excluir en otro directorio.
Como criterio de mantenimiento, conviene revisar el archivo cada vez que cambia la estructura del sitio, porque una regla que bloquea una sección vigente puede pasar inadvertida durante meses. Un sitemap actualizado, como el que explica la guía de Aprende a crear un sitemap: La guía definitiva, complementa al archivo y ayuda a los buscadores a descubrir las páginas importantes.
La práctica más segura es redactar reglas mínimas, probarlas en Search Console antes de dar el trabajo por terminado y no confiar en robots.txt para ocultar páginas. Centria Group, Google Partner y Meta Business Partner, ha trabajado con más de 300 clientes en más de 30 países. Las empresas que buscan apoyo pueden conocer el servicio de posicionamiento SEO en México de Centria Group. Para seguir leyendo, también conviene revisar Aprende a crear un sitemap: La guía definitiva y SEO Técnico: ¿Qué es y sus Elementos Clave?.
Preguntas frecuentes sobre robots.txt
¿Dónde debe estar el archivo robots.txt?
En la raíz del host al que se aplica, por ejemplo https://www.example.com/robots.txt. Google indica que no puede colocarse en un subdirectorio y que solo debe existir un archivo por sitio.
¿Robots.txt evita que una página aparezca en Google?
No. Según la documentación de Google, no es un mecanismo para impedir que una página aparezca en los resultados. Una URL bloqueada puede seguir apareciendo, aunque sin descripción. Para evitarlo se recomienda usar noindex o proteger la página con contraseña.
¿Qué tamaño máximo reconoce Google?
Google aplica un límite de 500 kibibytes (KiB) y ignora el contenido que supere ese tamaño. Cuando el archivo es demasiado grande, se recomienda combinar reglas para reducirlo.
¿Cómo se comprueba que el archivo funciona?
Abriendo la dirección del archivo en una ventana de navegación privada para confirmar que es público, y después con el informe de robots.txt de Search Console, que solo funciona con archivos ya accesibles en el sitio.
¿Un mismo archivo sirve para los subdominios?
No. Las reglas de un archivo robots.txt se aplican únicamente al protocolo, host y puerto donde está publicado. Un subdominio o la versión con otro protocolo requieren su propio archivo.



