Lección 7 de 12 · Lectura y práctica
Sitemap y robots: controlar crawling
Sitemap y robots.txt: controlar el rastreo Antes de posicionar, Google tiene que descubrir e indexar tus páginas. Dos archivos gobiernan ese proceso: el sitemap.xml, que es la lista de las URLs que quieres que se indexen, y el.
Del concepto a la práctica
Taller de esta lección
Sitemap y robots cumplen funciones distintas. El sitemap comunica qué URLs públicas consideras importantes; robots.txt limita el rastreo de rutas. Ninguno sustituye una decisión de indexación. Para que un noindex sea leído, la URL debe seguir siendo rastreable. Las rutas privadas deben quedar protegidas por autenticación, no solo por una regla de robots.
Ejemplo resuelto
El sitemap incluye /talleres/sevilla y su fecha de modificación real. Robots bloquea /admin/ y /api-interna/, pero no /talleres/pendiente-revision si esa página necesita entregar noindex. La respuesta HTML de esta última contiene una directiva noindex y la URL no aparece en el sitemap.
Pruébalo
Clasifica diez rutas como pública, privada, temporal o pendiente.
Decide cuáles entran en sitemap y cuáles requieren noindex.
Escribe reglas de robots específicas y revisa sus coincidencias.
Comprueba que ningún bloqueo impida leer una directiva necesaria.
Error frecuente: bloquear una URL y esperar que desaparezca del índice. Para contenido público que solo quieres excluir de resultados, permite el rastreo y aplica noindex. Para contenido confidencial, conserva autenticación y controles de acceso; no lo expongas para facilitar al rastreador su lectura.
Ejercicio: documenta decisiones para /login, /api, /guia-frenos y /borrador-sevilla.
Comprueba tu resultado
sitemap solo con la guía pública, robots sin bloquear la URL noindex y justificación separada para la ruta privada.

Mapa de prácticaUna condición decide qué camino ejecuta el programa. Un bucle repite una operación mientras queden elementos, y termina cuando la lista se agota. Separar ambas ideas ayuda a seguir el flujo y comprobar casos límite.
Ver la infografía en tamaño completo ↗Sitemap y robots.txt: controlar el rastreo
Antes de posicionar, Google tiene que descubrir e indexar tus páginas. Dos archivos gobiernan ese proceso: el sitemap.xml, que es la lista de las URLs que quieres que se indexen, y el robots.txt, que indica qué partes del sitio no debe rastrear. En pSEO, con cientos de páginas, controlarlos bien es indispensable.
El sitemap.xml
Es un archivo que enumera tus URLs importantes y ayuda a Google a encontrarlas rápido, sobre todo las nuevas o profundas. Cada entrada puede incluir la fecha de última modificación.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://tusitio.com/seo/programatico</loc>
<lastmod>2026-06-15</lastmod>
</url>
</urlset>
Cada sitemap admite hasta 50.000 URLs. Si superas ese número, divídelo en varios y crea un sitemap index que los agrupe.
El robots.txt
Vive en la raíz (tusitio.com/robots.txt) y bloquea el rastreo de rutas que no aportan valor en búsqueda: paneles de administración, endpoints de API, páginas de filtros infinitos.
User-agent: *
Disallow: /api/
Disallow: /admin/
Allow: /
Sitemap: https://tusitio.com/sitemap.xml
Atención
No confundas bloquear en robots.txt con desindexar. Si bloqueas una URL en robots.txt, Google no puede rastrearla, pero podría seguir mostrándola si otros la enlazan. Para sacar una página del índice usa la etiqueta <meta name="robots" content="noindex">, y para ello la página NO debe estar bloqueada en robots.txt (si lo está, Google no leerá el noindex).
Quieres que una página deje de aparecer en Google. ¿Qué haces?
Ejercicio práctico
Objetivo: auditar el rastreo de un sitio.
- Visita
tusitio.com/robots.txty verifica qué rutas estás bloqueando. - Confirma que el sitemap está declarado en el robots.txt y accesible.
- Revisa que las páginas privadas o de API estén bloqueadas y las públicas no.
- Identifica una página que quieras desindexar y aplica meta robots noindex (sin bloquearla en robots).
Entregable: un robots.txt revisado y la lista de URLs marcadas como noindex.
Para recordar
- El sitemap lista lo que quieres indexar (hasta 50.000 URLs por archivo).
- robots.txt controla qué se rastrea, no qué se indexa.
- Para desindexar usa meta robots noindex y no bloquees esa URL en robots.
Sigue con SEO Programatico y Growth
Esta lección forma parte de un curso de Cursalo. Revisa su programa y elige entre la compra individual o el acceso a toda la escuela.
Si ya tenías acceso a este curso, entra con tu cuenta: tus derechos y tu progreso se conservan. No necesitas comprarlo de nuevo.