Robots.txt:
configuración y comprobación
Explicamos las reglas de rastreo, sus diferencias con noindex y cómo comprobar URL reales. Incluye ejemplos de archivos, enlaces a herramientas y criterios claros de aceptación.
Comprueba las URL.
Guarda los resultados.
Un archivo puede afectar a muchas páginas. Prepara un conjunto representativo de URL, compara los resultados antes y después del cambio y comprueba qué versión recibieron los robots de los buscadores.
Qué decidir antes de escribir la primera línea de robots.txt
Robots.txt es un archivo de texto público con reglas de rastreo. Ayuda a controlar qué URL solicita un robot de búsqueda. Empieza por enumerar las páginas: cuáles deben atraer visitas desde los buscadores, cuáles cumplen funciones internas y cuáles no deben estar al alcance de personas sin autorización.
Cada objetivo necesita una solución distinta. Normalmente, el catálogo de productos debe seguir siendo rastreable. Una página pública de agradecimiento puede excluirse del índice con noindex. Un área de cliente necesita comprobaciones de acceso en el servidor. Intentar resolverlo todo con Disallow crea una falsa sensación de configuración correcta.
| Tarea | Herramienta principal | Qué comprobar |
|---|---|---|
| Limitar el rastreo de un grupo de URL | Allow y Disallow en robots.txt | La regla afecta a las URL previstas sin perjudicar páginas útiles. |
| Excluir una página pública de los resultados de búsqueda | Etiqueta meta robots con noindex o cabecera HTTP X-Robots-Tag | El robot puede obtener la página y leer la instrucción. |
| Proteger documentos y datos | Autenticación y comprobación de permisos | Una persona sin autorización no puede acceder al contenido mediante un enlace directo. |
| Consolidar URL duplicadas | Redirecciones, canonical y una estructura de enlaces coherente | Se ha elegido una URL principal y no hay señales contradictorias. |
Google advierte de que bloquear el rastreo no garantiza que la propia URL desaparezca de los resultados. Consulta su introducción a robots.txt. A continuación nos centramos en configurar el rastreo, una parte del SEO técnico, que por sí sola no basta para mejorar posiciones.
Dónde está robots.txt y cómo abrirlo
Para el sitio https://example.com/ abre https://example.com/robots.txt. Sustituye example.com por tu dominio. Debes ver reglas en texto plano. Si aparece una página de error, un formulario de acceso o el diseño del sitio, soluciona primero cómo se sirve el archivo.
Usa el nombre robots.txt en minúsculas. No lo subas a una carpeta de imágenes ni lo guardes como robots.txt.txt. El subdominio, el protocolo y los puertos no estándar importan: las reglas de una dirección no se aplican automáticamente a todas las versiones del sitio. El proceso de creación y ubicación se explica en la guía de Google.
- Abre la página de inicio y copia la dirección final tras las redirecciones.
- Añade a la raíz de la dirección
/robots.txty ábrelo en una ventana privada. - Guarda la versión actual en un archivo de texto independiente con fecha.
- Anota qué genera la respuesta: servidor, CMS, plugin SEO o sistema de caché.
- Comprueba por separado los subdominios que tengan sitios independientes.
WordPress puede generarlo de forma dinámica. No necesitas una segunda fuente de reglas solo para disponer de un archivo físico. Lo importante es el texto que recibe realmente un visitante en la URL pública.
Prepara la lista de URL antes de cambiar las reglas
Comprobar solo la página de inicio no revela si un bloqueo afecta a filtros, imágenes o parte del catálogo. Reúne un pequeño conjunto que represente la estructura real de tu sitio. Define de antemano el resultado esperado para cada URL y compáralo con el resultado real tras el cambio.
| Tipo de URL | Ejemplo | Resultado esperado |
|---|---|---|
| Inicio y categoría | /, /catalog/chairs/ | Rastreo permitido. |
| Ficha de producto | /products/chair-a/ | Rastreo permitido; ningún patrón bloquea el producto por error. |
| Página de destino de un filtro | /catalog/chairs/wood/ | Rastreo permitido si es una página útil para SEO. |
| Resultados de búsqueda interna | /search/?q=chair | Decidir el tratamiento por separado: restricción de rastreo o noindex. |
| Recursos de la página | Un archivo CSS, uno JavaScript y una imagen | El robot puede acceder a los recursos necesarios para mostrar la página. |
| Administración | /admin/ | Rastreo limitado; el acceso está protegido además por autenticación. |
Los ejemplos de la tabla son didácticos. No crees esas rutas expresamente ni copies bloqueos sin definir antes la función de tus páginas actuales. Añade URL con parámetros, nombres de carpeta parecidos y diferencias entre mayúsculas y minúsculas: las coincidencias inesperadas suelen aparecer en los límites de un patrón.
Cómo interpretar User-agent, Disallow, Allow y Sitemap
User-agent identifica el robot o grupo de robots al que se aplican las reglas. Disallow bloquea el rastreo de una ruta coincidente; Allow lo permite. Sitemap indica la URL completa del sitemap XML. Los comentarios empiezan con una almohadilla. Escribe cada directiva en una línea independiente.
User-agent: *
Disallow: /draft-catalog/
Allow: /draft-catalog/public-guide/
Sitemap: https://example.com/sitemap.xmlEl ejemplo bloquea un directorio de borradores, pero permite su subdirectorio público de consulta. Robots.txt no protege los borradores frente a las personas: el material privado necesita controles de acceso.
Google elige el grupo User-agent más específico; el grupo general con asterisco no complementa automáticamente uno específico para Googlebot. Si hay conflictos entre rutas, importa la especificidad de la regla, no su posición en el archivo. El símbolo * representa cualquier secuencia de caracteres; $ marca el final de una URL. Las rutas distinguen mayúsculas y minúsculas. Las condiciones y excepciones exactas se recogen en la especificación de Google.
Explica con tus palabras qué URL real debe afectar cada línea. Si la explicación es «por si acaso», vuelve a los objetivos. Un archivo breve y claro es más fácil de mantener que una colección de reglas ajenas.
Comprueba rutas similares, parámetros y excepciones
Supongamos que tienes una sección interna /search/ y un artículo útil /search-marketing/. Un bloqueo con el prefijo corto /search puede afectar a ambos. Comprueba tanto la URL que quieres bloquear como la página parecida que debe seguir accesible.
| Regla | URL que comprobar | Qué averiguar |
|---|---|---|
Disallow: /search/ | /search/?q=test y /search-marketing/ | La sección interna está bloqueada y el artículo útil sigue accesible. |
Disallow: /offer$ | /offer, /offer/, /offer?ref=a | Una condición de fin de URL no implica bloquear todas las variantes. |
| Bloqueo general con una excepción Allow en una subruta | URL de excepción y una URL cercana | Solo queda abierta la parte prevista, no toda la sección interna. |
| Grupo específico de un robot | Las mismas URL para Googlebot y Yandex | Las restricciones generales no se perdieron al separar los grupos. |
No apliques una regla general a todas las URL con signo de interrogación sin entender los parámetros. Pueden determinar el idioma, la paginación del catálogo, el producto o un filtro útil. Compara pares de URL con y sin parámetro: contenido, accesibilidad y URL canónica.
Cómo empezar a configurar robots.txt en WordPress
WordPress puede servir un robots.txt virtual. El código fuente de la función do_robots() limita el rastreo de la administración y permite admin-ajax.php. Los plugins y filtros pueden modificar la respuesta final, así que comprueba la URL pública después de guardar los ajustes.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlEs un punto de partida para el análisis, no una configuración universal para WordPress. Sustituye la URL del sitemap por una existente: algunos sitios usan sitemap_index.xml y otros wp-sitemap.xml. Abre el sitemap y revisa sus archivos secundarios. Si WordPress está en un subdirectorio, comprueba también las rutas.
No bloquees toda la carpeta wp-content: puede contener imágenes y recursos necesarios para mostrar las páginas. Valora archivos, etiquetas y páginas de autor según su contenido y función. Coordina los ajustes de cada página con el plugin SEO en lugar de intentar expresar toda la estrategia de indexación mediante prefijos.
Identificar qué genera robots.txt, guardar una copia, aplicar las reglas acordadas y mostrar la respuesta pública final. Adjuntar los resultados de las URL de prueba. Si hay caché, comprobar también la respuesta después de actualizarla.
Cuándo usar Clean-param y qué parámetros no debes considerar irrelevantes
Clean-param ayuda a Yandex a tratar parámetros que no cambian el contenido. Supongamos que campaign_id solo sirve para registrar un clic publicitario y que la ficha de producto sigue igual. Tras comprobarlo, puedes preparar una regla para la parte correspondiente del sitio:
Clean-param: campaign_id /products/No declares irrelevantes los parámetros de producto, idioma o página del catálogo solo porque generen muchas URL. Compara primero la página con y sin parámetro: título, texto principal, lista de productos, precio y versión lingüística disponible.
En la documentación de Yandex se indica que algunas etiquetas analíticas pueden eliminarse automáticamente si los algoritmos las consideran irrelevantes. No hace falta añadir reglas para esas etiquetas solo por incluir otra línea. Clean-param no sustituye la revisión de la estructura del sitio y no es una directiva de Google.
Registra la decisión en una tabla: nombre del parámetro, URL de ejemplo, si modifica el contenido, tratamiento elegido y responsable. Al añadir un sistema de analítica, el equipo sabrá qué se ha comprobado y qué necesita una decisión independiente.
Por qué Disallow y noindex no son intercambiables
Para excluir una página HTML pública de la Búsqueda de Google, puedes incluir esta etiqueta meta en su head:
<meta name="robots" content="noindex">El robot debe obtener la página para leer esta instrucción. Bloquearla a la vez en robots.txt puede impedírselo. Para archivos sin HTML, como los PDF, se utiliza la cabecera HTTP X-Robots-Tag. Los métodos y sus límites se explican en la guía de noindex de Google.
Por ejemplo, decides que una página de confirmación de solicitud no aparezca en buscadores. Especifica su URL, la presencia de noindex en la respuesta y la ausencia de bloqueos de rastreo que impidan leerlo. Después comprueba el resultado con la herramienta del buscador. Una captura de los ajustes no basta: la plantilla o la caché pueden servir otra versión.
Si la página contiene datos personales de la solicitud, los ajustes de búsqueda no bastan. Debe comprobar los permisos de acceso. Robots.txt es público: incluir una ruta no la convierte en secreta.
Cómo comprobar robots.txt en Yandex Webmaster
Abre Yandex Webmaster y accede a Tools → Robots.txt analysis, la herramienta de análisis de robots.txt. Selecciona tu sitio o introduce la dirección. El procedimiento para sitios añadidos y sin verificar se explica en la ayuda de la herramienta.
- Carga el archivo publicado y comprueba que coincide con el último cambio.
- Revisa los errores y las reglas de rastreo. Un error de sintaxis no es lo mismo que una regla válida con un resultado no deseado.
- Añade las URL de prueba al campo URL list de Check if URLs are allowed.
- Ejecuta la comprobación y compara cada resultado con lo esperado.
- Si editaste el texto en la herramienta, traslada la versión comprobada al sitio: cambiar el campo del analizador no actualiza la web.
En el informe para el desarrollador, incluye la URL, el resultado esperado, el real y la regla responsable. Añade la fecha de comprobación y el texto publicado. Así, «el robot no ve el catálogo» se convierte en un problema reproducible.
Cada URL del conjunto de prueba ofrece el resultado esperado. La ausencia de errores de sintaxis no demuestra por sí sola que el archivo cumpla los objetivos del sitio.
Cómo comprobar el archivo y una página en Search Console
En Google Search Console realizas dos tareas distintas: comprobar la obtención de robots.txt y diagnosticar una URL concreta. Empieza por el informe de robots.txt: muestra la versión obtenida, la fecha y los problemas de procesamiento. Para una corrección crítica, puedes solicitar un nuevo rastreo del archivo.
- Elige la propiedad que corresponda al dominio y al protocolo que compruebas.
- Revisa el estado de robots.txt y abre la última versión obtenida.
- Compárala con el archivo actual del sitio. Una fecha antigua obliga a distinguir la copia del buscador del cambio ya publicado.
- Introduce una URL importante en la herramienta de inspección de URLs.
- Ejecuta la prueba de la página publicada, Test Live URL en la interfaz inglesa.
- Revisa si se permite el rastreo, si se obtuvo la página y si se permite la indexación.
Una prueba en directo satisfactoria no demuestra que la página esté indexada ni que vaya a posicionarse. Los datos de indexación guardados y la prueba en directo corresponden a momentos distintos. Esta diferencia se explica en la ayuda de la herramienta de inspección de URLs.
Registra dos hitos separados: «el sitio sirve la respuesta corregida» y «el buscador ha procesado el cambio». Así evitarás volver a modificar un archivo correcto solo porque el informe se actualiza más tarde.
Qué hacer si el resultado no coincide con lo esperado
| Síntoma | Qué comprobar | Qué se considera corregido |
|---|---|---|
| Todo el sitio está bloqueado | Reglas Disallow generales, grupos específicos de robots y la versión trasladada desde pruebas. | Las URL públicas importantes están permitidas y se cargan de verdad. |
| El cambio no aparece | El archivo físico y el virtual, el plugin activo y la caché del servidor. | La respuesta pública coincide con la versión acordada. |
| Inicio permitido, producto bloqueado | Prefijos del catálogo, parámetros y reglas con * y $. | El conjunto de prueba de categorías y fichas de producto supera la comprobación. |
| Google y Yandex dan resultados distintos | Grupos User-agent, directivas admitidas y fecha de obtención del archivo. | La diferencia se explica por la configuración o se corrige si era involuntaria. |
| Archivo accesible, página sin indexar | Noindex, canonical, respuesta del servidor, contenido y enlaces internos. | Se identifica una causa concreta; robots.txt no se cambia sin motivo. |
| Error del servidor en lugar de reglas | Disponibilidad del alojamiento, ruta de entrega del archivo y límites de solicitudes. | Los buscadores pueden obtener el archivo de forma estable. |
Una respuesta 404 y una 5xx de robots.txt no son el mismo problema: Google las trata de forma distinta. Ante fallos del servidor, consulta la especificación oficial y el informe de obtención en lugar de asumir que «si no hay archivo, el sitio está bloqueado».
Si el bloqueo coincide con una caída del tráfico, conserva la cronología de cambios e investiga también otras causas. No prometas una recuperación en una fecha fija: acceso al rastreo, nueva visita, indexación y posiciones son etapas distintas. Para un diagnóstico completo, consulta además nuestro análisis de errores SEO.
Cómo entregar el cambio y validar el resultado
Acuerda un cambio pequeño con un objetivo claro. No modifiques a la vez las reglas de rastreo, las URL de secciones y los ajustes de indexación sin un plan común: sería difícil encontrar la causa de un resultado inesperado. Guarda la versión anterior y define cómo recuperarla.
«Limitar el rastreo de /search/?q=test. Mantener accesibles /search-marketing/, /catalog/ y las fichas de producto. Adjuntar las versiones original y nueva de robots.txt, los resultados de prueba de esas URL para Yandex y Google y el método de reversión. Confirmar por separado el acceso a CSS, JavaScript e imágenes».
Comprueba el archivo justo después de publicar y revisa los informes cuando los robots vuelvan a obtenerlo. Repite los controles al cambiar el CMS, el plugin SEO, el dominio, la estructura del catálogo o la caché. El proceso general de aceptación se explica en «Cómo aceptar un sitio entregado por un desarrollador».
Lista de comprobación de robots.txt
- Están identificadas las páginas para buscadores, las secciones internas y los datos que requieren autenticación.
- Se conoce qué genera el archivo y se ha guardado la versión original.
- La URL pública devuelve las reglas acordadas.
- Se han comprobado los grupos específicos de robots y las rutas similares.
- Las páginas importantes y los recursos de visualización no están bloqueados por error.
- La URL del sitemap XML existe y corresponde al sitio actual.
- Se ha evaluado cómo afectan los parámetros al contenido.
- Ningún bloqueo de rastreo impide al robot leer noindex.
- Se han guardado los resultados esperados y reales del conjunto de prueba.
- Se han definido el responsable del cambio y la forma de recuperar la versión anterior.
Esta lista evalúa la configuración del rastreo. No sustituye una auditoría del contenido, la estructura, los duplicados o los recorridos de usuario. Si la tarea va más allá de un archivo, empieza por un plan de SEO para el sitio y una lista acordada de tareas técnicas.
Preguntas frecuentes sobre robots.txt
¿Necesita robots.txt un sitio pequeño?
El tamaño no determina por sí solo si hacen falta restricciones. El archivo es útil cuando existen reglas claras de rastreo y una URL de sitemap. No lo compliques con restricciones ajenas al proyecto.
¿Por qué una página bloqueada sigue mostrando su URL en Google?
Bloquear el rastreo no garantiza retirar la URL de los resultados. Elige el método de exclusión adecuado, comprueba que se pueda leer noindex y revisa el estado en Search Console.
¿Puedo copiar el archivo de otro sitio?
El archivo ajeno puede servir como lista de cuestiones a revisar. No lo publiques entero sin comprobar tus propias URL: las rutas, los parámetros, el sitemap y las secciones útiles son diferentes.
¿Necesito grupos separados para Googlebot y Yandex?
Solo si hay diferencias justificadas en las reglas. Tras separarlos, comprueba qué restricciones recibe cada robot. No supongas que un grupo específico hereda automáticamente el general.
¿Basta con un resultado verde en el analizador?
No. Necesitas reglas adecuadas para tus páginas, confirmar la obtención del archivo y revisar otros obstáculos a la indexación. Un bloqueo sintácticamente válido puede perjudicar al negocio.
¿Cuándo se verá el resultado en los buscadores?
No hay un plazo único. Confirma primero la publicación de la corrección, después la obtención de la nueva versión y el procesamiento de las páginas. Cambiar robots.txt no garantiza por sí solo la indexación ni mejores posiciones.
COMPROBAMOS LA PREPARACIÓN
TÉCNICA DE TU SITIO PARA SEO
Revisamos la accesibilidad de las páginas, las reglas de rastreo, los duplicados y el sitemap. Preparamos tareas para el desarrollador y verificamos las correcciones publicadas.