Magictools · robots.txt
Generador de robots.txt
Elige quién puede ver tu sitio, añade las rutas que los rastreadores no deben recorrer y copia un robots.txt. No se guarda nada.
Elige quién puede ver tu sitio. El archivo aparece cuando eliges una opción.
Este archivo es una petición, no un candado. Un Disallow no saca por sí solo una URL de Google.
Rutas para permitir o bloquear
Estas reglas valen para Google y para cada rastreador que no nombres aparte.
Atajos
Opcional. * coincide con cualquier secuencia. $ ancla el final de la URL. Gana la coincidencia más larga, y Allow gana un empate.
Bots con nombre
Todavía no hay bots extra. Google y la búsqueda con IA siguen las reglas de arriba.
Sitemaps
Escribe un host para sugerir un sitemap.
Cómo funciona
Elige quién puede ver tu sitio, añade rutas y copia el archivo a la raíz.
- Paso 1
Elige quién puede ver tu sitio
Elige quién puede ver tu sitio antes de generar el archivo.
- Paso 2
Añade rutas y un sitemap
Añade rutas y un sitemap, o importa un robots.txt que ya tengas.
- Paso 3
Copia el robots.txt
Copia o descarga el archivo y publícalo en la raíz del host.
Más sobre esta herramienta
El generador de robots.txt empieza con una pregunta clara: ¿quién puede ver tu sitio? El archivo recomendado sigue visible para Google y para la búsqueda con IA. Puedes pedir a los rastreadores de entrenamiento que no entren, o bloquear los rastreadores de IA con nombre, antes de crear el archivo. Después añades rutas Allow y Disallow, un sitemap y bots con nombre como AdsBot-Google y Storebot-Google. La vista previa permanece en tu navegador. Obtener un robots.txt público existente es opcional y solo ocurre después de que aceptes. El archivo es una pista voluntaria: no controla el acceso, y Disallow no saca por sí solo una URL del índice de Google.
Preguntas frecuentes
¿Este robots.txt bloquea bots en mi sitio?
No. robots.txt es una petición voluntaria. Los rastreadores que se comportan bien pueden seguirla y otros no. No es control de acceso, un cortafuegos ni una garantía de privacidad.
¿Disallow saca páginas de Google?
No. Disallow pide a Google que no rastree una URL. Una URL puede seguir indexada sin fragmento. Usa noindex en una página que Google pueda rastrear cuando quieras dejarla fuera del índice.
¿Por qué tengo que elegir quién puede ver mi sitio?
Visible para Google y la búsqueda con IA, visible en búsqueda pidiendo que los bots de entrenamiento no entren, o bloquear rastreadores de IA con nombre, son decisiones distintas. El generador no elige una por ti.
¿User-agent: * cubre AdsBot y Storebot-Google?
Storebot-Google usa su propio grupo o el grupo *. AdsBot-Google y AdsBot-Google-Mobile ignoran el grupo *, así que nómbralos cuando deban seguir una regla. Un grupo de Googlebot no aplica ni a AdsBot ni a Storebot-Google.
¿Google-Extended es lo mismo que Googlebot?
No. Google-Extended es un token de control para el entrenamiento y el grounding de Gemini. No controla Google Search y no cambia el posicionamiento. Googlebot es el rastreador de búsqueda.
¿Guardáis el robots.txt que genero?
No. La generación, el pegado y el simulador se ejecutan en tu navegador y no se guardan. Un robots.txt público solo se obtiene después de que aceptes, y esa solicitud no se conserva como historial.
Herramientas relacionadas
Generador de llms.txt
Crea llms.txt y llms-full.txt para agentes de IA. Gratis en el navegador, con descubrimiento opcional desde el sitemap y sin registro.
Generador de sitemap
Descubre URLs públicas o crea sitemaps XML desde tu lista. Gratis en el navegador, con guía honesta sobre Google y descubrimiento opcional.
Auditoría de rastreadores GEO e IA
Audita reglas de rastreadores AI, llms.txt, archivos de agentes, datos estructurados, FAQs, HTML semántico y accesibilidad para agentes desde código fuente y páginas renderizadas.
Auditoría SEO, GEO e IA
Audita una página pública en SEO, GEO, comprensión por AI, calidad de contenido, claridad de entidades, schema y preparación para citas, con puntuación basada en evidencia e interpretación AI opcional.
Generador de robots.txt · Gratis, sin cuenta y sin historial