Verificador y probador gratuito de Robots.txt
Probador y validador gratuito de robots.txt. Comprueba si alguna URL está bloqueada por tu robots.txt, prueba directivas para Googlebot, Bingbot y rastreadores de IA (GPTBot, ClaudeBot, Perplexity) y detecta errores de sintaxis antes de que afecten tu indexación. Impulsado por el analizador de código abierto de Google. Sin necesidad de registro.
SERP y posicionamiento
SEO técnico
Redacción y contenido con IA
Investigación de palabras clave
Visibilidad de IA
Backlinks y SEO Off-Page
Preguntas frecuentes
¿Cómo puedo verificar si mi archivo robots.txt funciona correctamente?
Pegue su dominio en el comprobador de arriba y ejecútelo. La herramienta obtiene su robots.txt en vivo, valida cada bloque de User-agent utilizando el analizador de código abierto oficial de Google (compatible con RFC 9309) y le dice exactamente qué rutas están permitidas o bloqueadas para Googlebot, Bingbot y rastreadores de IA como GPTBot. Detecta errores de sintaxis, comodines no válidos y declaraciones de mapa del sitio que faltan antes de que afecten la indexación.
¿Cuál es la diferencia entre robots.txt y noindex?
Robots.txt controla el rastreo: si un bot puede acceder a una URL o no. Noindex controla la indexación, es decir, si una página rastreada aparece en los resultados de búsqueda. Ambos resuelven problemas diferentes: si bloqueas una página en robots.txt, Google no podrá rastrearla, lo que significa que tampoco podrá ver la etiqueta noindex. Las páginas bloqueadas por robots.txt aún pueden indexarse si otros sitios las enlazan. Para las páginas que deseas ocultar de las búsquedas, utiliza noindex; para el control del presupuesto de rastreo, utiliza robots.txt.
¿Debería bloquear los rastreadores de IA como GPTBot y ClaudeBot?
Depende de su estrategia de contenido. Amazon, el New York Times y Reddit bloquean explícitamente a GPTBot, ClaudeBot, Perplexity-User y OAI-SearchBot para mantener su contenido fuera de los datos de entrenamiento y de las respuestas de IA. Sin embargo, bloquear a los bots de IA también reduce la posibilidad de que su marca sea citada en las respuestas generadas por IA, un canal de tráfico en crecimiento. Para la mayoría de las marcas B2B y SaaS, permitir estos bots ayuda con la visibilidad de la IA; para los editores y sitios de contenido premium, bloquearlos protege los ingresos por licencias.
¿Dónde encuentro mi archivo robots.txt?
Su archivo robots.txt se encuentra en el directorio raíz de su dominio, siempre en https://yourdomain.com/robots.txt. Escriba esa URL en cualquier navegador para verlo. Si no carga nada (error 404), su sitio aún no tiene uno, lo que significa que todos los rastreadores están permitidos en todas partes de forma predeterminada. Para WordPress, robots.txt se suele autogenerar de forma virtual; para Shopify, se puede editar a través de robots.txt.liquid; para sitios estáticos, coloque un archivo robots.txt de texto sin formato en su carpeta pública.
¿Cómo soluciono una página bloqueada por robots.txt?
Tres pasos: (1) Ejecute su URL en el verificador de arriba para identificar la regla Disallow exacta que la está bloqueando. (2) Edite su archivo robots.txt para eliminar esa regla, delimitarla de manera más estrecha (por ejemplo, Disallow: /private/ en lugar de Disallow: /) o agregar una directiva Allow: que la anule para la ruta específica. (3) Guarde y vuelva a cargar el archivo, luego use la herramienta de inspección de URL de Google Search Console para solicitar la indexación. Los errores más comunes que vemos en las auditorías: reglas Disallow: / residuales de entornos de prueba, bloqueo de archivos JavaScript o CSS que impiden la renderización de la página y declaraciones de Sitemap: faltantes. El verificador de arriba detecta todo esto automáticamente.
¿Qué significa 'Disallow: /' y cuándo debería usarlo?
Disallow: / bajo User-agent: * bloquea que cualquier rastreador acceda a cualquier ruta de su sitio. Esta es la directiva más destructiva en robots.txt — utilícela solo en entornos de pruebas (staging), servidores de desarrollo privados, o cuando realmente desee desaparecer de los motores de búsqueda. El error de producción más común que vemos: alguien copia el archivo de pruebas a producción y se olvida de eliminar la línea Disallow: /. Para bloquear solo secciones específicas, acote la regla de forma estrecha, por ejemplo, Disallow: /admin/ o Disallow: /cart. Ejecute el verificador de arriba en su sitio en vivo para confirmar que no está bloqueando todo accidentalmente.
