Generador de `robots.txt`
Guía a los motores de búsqueda sobre cómo rastrear tu sitio web.
1. Política por Defecto
2. Plantillas (Opcional)
3. Añadir Reglas Específicas
4. Ubicación del Sitemap (Opcional)
Resultado `robots.txt`
¿Qué es un archivo `robots.txt`?
El archivo `robots.txt` es un estándar de exclusión de robots que le dice a los rastreadores web (como Googlebot) a qué páginas o archivos pueden o no pueden solicitar acceso en tu sitio. Es una parte fundamental del SEO técnico.
Directivas Clave
- User-agent: El nombre del bot al que se aplica la regla (ej. `*` para todos, `Googlebot` para Google).
- Disallow: Le pide al bot que no rastree una ruta específica. Es útil para evitar que los bots gasten tiempo en secciones no importantes (como páginas de administración).
- Allow: Permite explícitamente el rastreo de una sub-ruta dentro de un directorio bloqueado.
Importante: Bloquear una URL en `robots.txt` no impide que se indexe si está enlazada desde otros sitios. Para evitar la indexación de forma segura, debes usar la metaetiqueta <meta name="robots" content="noindex" /> en el HTML de la página.