Generador de robots.txt
Crea un archivo robots.txt limpio y válido para tu sitio. Define reglas de rastreo, agrega sitemaps y copia el resultado a la raíz del sitio.
Cargar existente
Importado con advertencias
Sitemaps
Agrega una o más URLs de sitemap. Se escriben al final del archivo robots.txt.
Yandex lo usa para identificar tu dominio preferido. Déjalo en blanco si no lo necesitas.
Grupo de User-agent
Las reglas de este bloque se aplican a los user-agent de la lista.
Segundos entre solicitudes. Google lo ignora; otros rastreadores pueden usarlo.
Resultado de robots.txt
User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Guarda el resultado como robots.txt en la raíz de tu sitio (por ejemplo, https://example.com/robots.txt).
Súbelo a tu servidor o agrégalo desde el administrador de archivos del hosting o del CMS. Los rastreadores pueden tardar en recoger los cambios.
Guardar en el navegador
Guarda el estado de esta herramienta en el almacenamiento local de este dispositivo. Puedes cargarlo después desde Cargar existente.
Al guardar se actualiza el elemento actual. Usa Guardar como nuevo para conservar ambos.
Cargar desde guardados
Elige una versión de esta herramienta que hayas guardado antes en este navegador.
· Actual
Ningún elemento guardado coincide con esa búsqueda.
Cargar desde URL
Obtén el robots.txt de un sitio público. Ingresa la URL del sitio o un enlace directo al robots.txt.
Si ingresas la URL de inicio, pediremos /robots.txt en la raíz del sitio.
Pegar robots.txt
Pega un robots.txt existente para importar sus reglas al generador.
Eliminar elemento guardado
Esto quita la copia guardada solo de este navegador.
Eliminar ?
Crea un robots.txt en minutos
Un archivo robots.txt les indica a los rastreadores qué zonas del sitio pueden y no pueden rastrear. Es una de las formas más simples de orientar cómo acceden los buscadores, y se usa para evitar que rastreen páginas, carpetas o archivos innecesarios.
El generador de robots.txt te ayuda a crear un archivo válido sin memorizar la sintaxis. Agrega reglas de rastreo, grupos de user-agent y URLs de sitemap, y copia el archivo terminado a tu sitio.
Allow y Disallow
Las dos directivas más habituales de robots.txt son Allow y Disallow. Disallow pide a los rastreadores que no soliciten las URLs que coinciden, y Allow crea excepciones dentro de secciones bloqueadas más amplias.
En la mayoría de los sitios basta un grupo User-agent: *. Crea grupos adicionales solo cuando rastreadores concretos, como Googlebot o Bingbot, necesiten reglas distintas.
Ayuda a los buscadores a encontrar tus sitemaps
Agregar una o más directivas Sitemap ayuda a los buscadores a encontrar tus sitemaps XML. Es especialmente útil en sitios grandes o que publican sitemaps separados para páginas, imágenes, videos, noticias u otros tipos de contenido. Después de agregar la URL de un sitemap, usa el validador de sitemap para confirmar que el archivo es válido y se puede alcanzar.
Qué permite este generador
- Crea archivos robots.txt con varios grupos de user-agent y reglas de rastreo.
- Ve el archivo actualizarse al instante mientras editas.
- Copia el robots.txt terminado con un clic.
- Valida rutas, URLs de sitemap y valores de crawl-delay.
- Importa un robots.txt existente desde una URL, un borrador guardado o texto pegado.
- Guarda borradores en tu navegador.
- Agrega una o más URLs de sitemap y una directiva Host opcional.
¿Cuándo conviene usar robots.txt?
Usa robots.txt cuando quieras orientar cómo acceden los rastreadores a tu sitio. Suele usarse para bloquear áreas de administración, búsquedas internas, contenido temporal, entornos de desarrollo u otras secciones que no necesitan rastreo.
robots.txt controla el rastreo, no los permisos de acceso. No debe usarse para proteger contenido privado o archivos confidenciales, y no garantiza que las páginas bloqueadas no aparezcan en los resultados. Para páginas que deben seguir accesibles pero no indexarse, usa la directiva noindex.
Publicar el archivo robots.txt
Cuando tengas el robots.txt, guárdalo como robots.txt y súbelo a la raíz del sitio para que esté disponible en:
https://yourdomain.com/robots.txt
Buenas prácticas
- Prueba tu robots.txt en Google Search Console después de publicarlo.
- No uses robots.txt para proteger contenido sensible: usa autenticación.
- Evita bloquear CSS, JavaScript o imágenes que los buscadores necesitan para renderizar tus páginas.
- Crea grupos de user-agent separados solo cuando distintos rastreadores necesiten reglas distintas de verdad.
- Mantén el robots.txt simple y bloquea solo las rutas que no quieres que se rastreen.
- robots.txt controla el rastreo, no la indexación. Una página bloqueada puede aparecer en los resultados si otras páginas enlazan a ella.
Privacidad
Todo lo que creas se queda en tu dispositivo.
- Todo lo que creas y editas se queda en tu navegador.
- No necesitas registrarte ni crear una cuenta.
- Los borradores se guardan en tu dispositivo, no en los servidores de Contismo.
Preguntas frecuentes
robots.txt es un archivo de texto en la raíz del sitio que indica a los rastreadores qué partes deben o no deben rastrear. Solo aplica a los rastreadores que deciden seguir el estándar.
Súbelo a la raíz del sitio para que esté en https://yourdomain.com/robots.txt. Los buscadores lo buscan ahí; en otro lugar no tendrá el efecto esperado.
No necesariamente. Si no necesitas restringir el rastreo ni anunciar el sitemap XML, el sitio puede funcionar bien sin uno. Muchos sitios pequeños no lo necesitan.
No. Cada sitio debe tener un solo robots.txt en la raíz del dominio. Ese archivo puede incluir varios grupos de user-agent, reglas de rastreo y directivas Sitemap.
robots.txt indica si se pide a los rastreadores que rastreen una URL. Las etiquetas meta robots y el encabezado HTTP X-Robots-Tag controlan si el contenido puede indexarse después de rastrearse.
Usa robots.txt para el rastreo de todo el sitio y meta robots cuando necesites control de indexación por página.
Sí. Bloquear una página en robots.txt no garantiza que no aparezca en los resultados. Si otros sitios enlazan a ella, los buscadores pueden indexar la URL sin rastrear su contenido. Usa noindex si quieres evitar la indexación.
Sí. Puedes agregar varias entradas Sitemap a un robots.txt. Es habitual en sitios que publican sitemaps separados para páginas, imágenes, videos, noticias u otros tipos de contenido.
Sí. Puedes importarlo desde una URL pública, cargar un borrador guardado en el navegador o pegar el contenido directamente en el generador.
No. Los borradores se guardan en tu navegador y no se suben a los servidores de Contismo. Al importar desde una URL, solo se envía esa URL para recuperar el archivo.
