Saltar al contenido

Lección 7 de 12 · Lectura y práctica

Sitemap y robots: controlar crawling

Sitemap y robots.txt: controlar el rastreo Antes de posicionar, Google tiene que descubrir e indexar tus páginas. Dos archivos gobiernan ese proceso: el sitemap.xml, que es la lista de las URLs que quieres que se indexen, y el.

Del concepto a la práctica

Taller de esta lección

Sitemap y robots cumplen funciones distintas. El sitemap comunica qué URLs públicas consideras importantes; robots.txt limita el rastreo de rutas. Ninguno sustituye una decisión de indexación. Para que un noindex sea leído, la URL debe seguir siendo rastreable. Las rutas privadas deben quedar protegidas por autenticación, no solo por una regla de robots.

Ejemplo resuelto

El sitemap incluye /talleres/sevilla y su fecha de modificación real. Robots bloquea /admin/ y /api-interna/, pero no /talleres/pendiente-revision si esa página necesita entregar noindex. La respuesta HTML de esta última contiene una directiva noindex y la URL no aparece en el sitemap.

Pruébalo

  1. Clasifica diez rutas como pública, privada, temporal o pendiente.

  2. Decide cuáles entran en sitemap y cuáles requieren noindex.

  3. Escribe reglas de robots específicas y revisa sus coincidencias.

  4. Comprueba que ningún bloqueo impida leer una directiva necesaria.

Error frecuente: bloquear una URL y esperar que desaparezca del índice. Para contenido público que solo quieres excluir de resultados, permite el rastreo y aplica noindex. Para contenido confidencial, conserva autenticación y controles de acceso; no lo expongas para facilitar al rastreador su lectura.

Ejercicio: documenta decisiones para /login, /api, /guia-frenos y /borrador-sevilla.

Comprueba tu resultado

sitemap solo con la guía pública, robots sin bloquear la URL noindex y justificación separada para la ruta privada.

Diagrama de decisión con ramas Sí y No y un bucle que procesa cada elemento de una lista.
CursaloMapa de práctica
Cómo avanza un programa

Una condición decide qué camino ejecuta el programa. Un bucle repite una operación mientras queden elementos, y termina cuando la lista se agota. Separar ambas ideas ayuda a seguir el flujo y comprobar casos límite.

Ver la infografía en tamaño completo ↗

Sitemap y robots.txt: controlar el rastreo

Antes de posicionar, Google tiene que descubrir e indexar tus páginas. Dos archivos gobiernan ese proceso: el sitemap.xml, que es la lista de las URLs que quieres que se indexen, y el robots.txt, que indica qué partes del sitio no debe rastrear. En pSEO, con cientos de páginas, controlarlos bien es indispensable.

El sitemap.xml

Es un archivo que enumera tus URLs importantes y ayuda a Google a encontrarlas rápido, sobre todo las nuevas o profundas. Cada entrada puede incluir la fecha de última modificación.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://tusitio.com/seo/programatico</loc>
    <lastmod>2026-06-15</lastmod>
  </url>
</urlset>

Cada sitemap admite hasta 50.000 URLs. Si superas ese número, divídelo en varios y crea un sitemap index que los agrupe.

El robots.txt

Vive en la raíz (tusitio.com/robots.txt) y bloquea el rastreo de rutas que no aportan valor en búsqueda: paneles de administración, endpoints de API, páginas de filtros infinitos.

User-agent: *
Disallow: /api/
Disallow: /admin/
Allow: /

Sitemap: https://tusitio.com/sitemap.xml

Atención

No confundas bloquear en robots.txt con desindexar. Si bloqueas una URL en robots.txt, Google no puede rastrearla, pero podría seguir mostrándola si otros la enlazan. Para sacar una página del índice usa la etiqueta <meta name="robots" content="noindex">, y para ello la página NO debe estar bloqueada en robots.txt (si lo está, Google no leerá el noindex).

Quieres que una página deje de aparecer en Google. ¿Qué haces?

Para desindexar necesitas la etiqueta noindex, y Google debe poder rastrear la página para leerla. Si la bloqueas en robots.txt, nunca verá el noindex. Quitarla del sitemap por sí solo no la desindexa.

Ejercicio práctico

Objetivo: auditar el rastreo de un sitio.

  1. Visita tusitio.com/robots.txt y verifica qué rutas estás bloqueando.
  2. Confirma que el sitemap está declarado en el robots.txt y accesible.
  3. Revisa que las páginas privadas o de API estén bloqueadas y las públicas no.
  4. Identifica una página que quieras desindexar y aplica meta robots noindex (sin bloquearla en robots).

Entregable: un robots.txt revisado y la lista de URLs marcadas como noindex.

Para recordar

  • El sitemap lista lo que quieres indexar (hasta 50.000 URLs por archivo).
  • robots.txt controla qué se rastrea, no qué se indexa.
  • Para desindexar usa meta robots noindex y no bloquees esa URL en robots.

Sigue con SEO Programatico y Growth

Esta lección forma parte de un curso de Cursalo. Revisa su programa y elige entre la compra individual o el acceso a toda la escuela.

Si ya tenías acceso a este curso, entra con tu cuenta: tus derechos y tu progreso se conservan. No necesitas comprarlo de nuevo.

01 / ELEGIR UNA RUTA

El próximo paso

Aprende IA mientras construyes algo que sí necesitas.

Empieza por el curso inicial o explora el catálogo para encontrar una práctica alineada con tu trabajo.