Ayuda a los googlebots en la indexación de sitios web, agiliza el rastreo de nuevas páginas y modifica valores como la prioridad o la frecuencia de actualización. El sitemap es un documento esencial para el desarrollo y promoción de cualquier web, y multitud de razones avalan su importancia y la necesidad de optimizarlo para los motores de búsqueda. Plugins como Yoast SEO y generadores como GSiteCrawler y XML-Sitemaps permiten crear sitemaps, elemento que sin embargo no garantiza la total indexación de páginas de un sitio web.

Conocido también como mapa web o mapa de sitio, el sitemap celebró el pasado año sus bodas de cristal, tras una década y media en activo y millones de páginas web mapeadas para Google. De este protocolo siguen dependiendo hoy los rastreadores web para detectar e indexar URLs. Según el analista de tendencias de Google Gary Illyes, son después de los hipervínculos el principal aliado del buscador de Alphabet en este proceso. Se estima que el 80% de las URLs indexadas se realizan siguiendo enlaces, y alrededor del 20% a través de sitemaps.

¿Qué es el sitemap de una web?

El sitemap de una web es un protocolo basado en etiquetas HTML o XML, codificadas estas últimas en UTF-8, que enumeran las distintas URLs de páginas, categorías, etcétera, de un sitio web. El Centro de la Búsqueda de Google lo define como «archivos en los que se proporciona información sobre las páginas, los vídeos y otros archivos de tu sitio, así como sobre las relaciones que hay entre ellos».

Al crear el sitemap de una web se ofrece, así, una suerte de mapa, una ‘cartografía’ con todas las páginas internas y su respectiva ubicación en el directorio. Este ‘callejero’ digital se actualiza periódicamente para comunicar a Google y otros buscadores cualquier novedad o alteración en el esquema de URLs existente.

Lejos de remontarse a los albores de Internet, la historia de los mapas de sitio XML se inició tardíamente, con la introducción del protocolo sitemaps 0.84 en 2005. Este archivo prototípico fue desarrollado por Google y sirvió de base para el actual sitemaps 0.90, versión que recibiría el apoyo unánime de competidores como Yahoo! y MSN Search (Bing, en la actualidad).

El sitemap XML se aloja en un directorio de nombre homónimo (www.example.com/sitemap.xml) y complementa la labor informativa de los robots.txt, fichero que igualmente mejora el crawling de sitios web en los motores de búsqueda. El sitemap y el robots.txt forman parte de los estándares W3C. De interés para diseñadores y especialistas en SEO es la tipología de los mapas de sitio, que se clasifican principalmente en dos clases diferenciadas:

Sitemap XML, el formato más extendido

El metalenguaje XML (por las siglas en inglés de ‘Lenguaje de Marcado Extensible’) sirvió de vehículo para los primeros sitemaps, y por ello continúa siendo el formato más utilizado en la elaboración de estos archivos. Este índice de URLs está diseñado en exclusiva para los motores de búsqueda y contiene información clave sobre el número de imágenes, la prioridad (alta, media o baja), la frecuencia de actualización y la última modificación. Los mapas de sitio XML se dividen a su vez en cuatro tipos: para imágenes (sitemap-image), para vídeos (sitemap-video), para noticias (sitemap-news) y para la versión responsiva (sitemap-mobile).

Sitemap HTML, una alternativa user-friendly

Los sitemaps HTML prescinden de la codificación UTF-8 para editarse íntegramente con el popular lenguaje de marcado al que debe su nombre. A diferencia del XML, el mapa de sitio HTML está destinado a los usuarios tanto como a los algoritmos de búsqueda, desempeñando una función más clarificadora y orientativa para la navegación. Más que listar todas las URLs de un sitio web, las ordena y muestra de un modo más visual y accesible al ojo humano que en los sitemaps XML.

Al margen de esta dicotomía, ¿siempre es necesario crear un sitemap?, ¿son estos archivos indispensables para la supervivencia y éxito de un sitio web? En absoluto. Desde el Centro de la Búsqueda de Google señalan los factores que hacen innecesaria la presencia de este fichero: si el sitio web «es pequeño, está totalmente enlazado de forma interna, no tienes muchos archivos multimedia (vídeo, imagen) o páginas de noticias, o utilizas un servicio de alojamiento de sitios sencillo, como Blogger o Wix».

Mapeando el sitio web: ¿cómo crear un sitemap XML de manera eficaz?

Distintas herramientas, plugins y recursos online permiten crear un mapa de sitio XML, archivo que también puede elaborarse de forma manual, es decir, aprendiendo los rudimentos básicos de este metalenguaje. Estructuralmente los sitemaps XML se abren y cierran con las etiquetas <urlset> y </urlset>, precedidas del código que informa sobre la codificación del archivo y que contiene los atributos siguientes: «version=»1.0″» y «encoding=»UTF-8″».

Obligatorias son también las etiquetas <url> para insertar cada dirección web y <loc> para hacer lo propio con las entradas individuales, mientras que el resto de etiquetas son opcionales pero recomendables. Éstas incluyen la etiqueta <lastmod>, indicadora de la fecha de la última modificación de la URL; <priority>, que cifra en valores del 0.0 al 1.0 la prioridad de cada entrada para los motores de búsqueda y que por defecto es de 0.5, y <changefreq>, que muestra la frecuencia de actualización (y por tanto de rastreo recomendado) de las entradas, pudiendo contener los valores ‘always’, ‘hourly’, ‘daily’, ‘weekly’, ‘monthly’, ‘yearly’ o ‘never’.

Asimismo, Google recomienda la inserción de «URLs completas», dado que sus algoritmos «rastrean las URLs tal y como se muestran». Igualmente debe informarse a este buscador si existen versiones de las entradas en otros idiomas ; en caso afirmativo, las anotaciones ‘hreflang’ son un recurso útil. También es importante dividir «los sitemaps grandes en sitemaps más pequeños», pues estos archivos están limitados a «50.000 URLs y no deben superar los 50 MB sin comprimir», según un documento del Centro de la Búsqueda de Google.

Más rápido y simple es crear sitemap de una web con ayuda de los generadores gratuitos y de pago disponibles en Internet. Buenos ejemplos son Visual Sitemaps, XML Sitemaps, GSiteCrawler , Slickplan, Dynomapper, Writemaps, Mindnode o PowerMapper. Los sitios web desarrollados con CMS como WordPress disponen, por otra parte, de plugins gratuitos como Yoast SEO, Jetpack o Simple Sitemap. Gestores alternativos, como Joomla, cuentan con equivalencias interesantes (JSitemap, PWT Sitemap, etcétera).

¿Cómo optimizar y enviar un sitemap a Google?

Crear un sitemap para Google y otros motores de búsqueda implica estructurar adecuadamente las URLs, ordenándolas en función de su tipo (productos, categorías, etiquetas) y de su importancia y excluyendo las de menor relevancia para el sitio web, como sucede con el aviso legal, la política de privacidad, la página de cookies, etcétera. Enemigas de la optimización SEO son las páginas de escaso contenido o con duplicaciones, y por ello deben suprimirse del mapa de sitio. A propósito, estas herramientas para verificar contenido duplicado te serán de utilidad.

Especial atención se debe prestar a las URLs no válidas, es decir, aquellas que incorporan caracteres inadmisibles en la codificación UTF-8, como las vocales acentuadas (á, é, í, ó, ú) o símbolos como las comillas inglesas («») o las castellanas («»). Las erratas en el protocolo HTTP/HTTPS también arruinarían un excelente sitemap XML, al igual que la presencia de páginas bloqueadas en el archivo robots.txt, generadoras de molestos conflictos.

Creado el archivo sitemap XML, se procederá a su envío a los motores de búsqueda, proceso simple con diversidad de recursos a disposición de los webmasters. En el servicio Search Console de Google, en primer lugar, la pestaña ‘Rastreo contiene una sección dedicada a los mapas de sitio que posibilita el envío de sitemaps. Tras esta petición, Google informa de su aceptación en la columna ‘status’ y del número de páginas indexadas en ‘Discovered URLs’.

Otros motores de búsqueda disponen de servicios equivalentes a Search Console, como Webmaster Tools de Bing. Clicando en la pestaña ‘Configure My Site’ y después en la sección ‘Sitemaps’, se habilita un cuadro para el envío de URLs de mapas de sitio. Webmaster Tools presenta una ventaja interesante: los sitemaps son enviados a Yahoo! además de Bing.

En determinados casos, los feeds constituyen una alternativa interesante al sitemap en determinados sitios web, como los blogs. Comúnmente utilizados para difundir información actualizada entre suscriptores, los archivos RSS 2.0 y Atom 1.0 pueden actuar como mapas de sitio, comunicando a Google las últimas URLs agregadas.

El uso de sitemaps ¿garantiza la indexación en buscadores?

No obstante, y pese al buen entendimiento entre Google y los sitemaps, éstos no garantizan la indexación, sino una mayor probabilidad de indexación. El analista de tendencias Gary Illyes aclara que «enviar un sitemap no significa que todas las páginas y categorías serán indexadas. Piensa en un sitemap como en una forma alternativa de ayudar a los googlebots a encontrar tu contenido. Si las URLs no fueron incluidas en el sitemap, los rastreadores tendrán más dificultad al encontrar esas URLs, y éstas serán indexados más lentamente», según informan desde Seroundtable.com.

Illyes advierten también de que un sitemap no es una hoja de directrices de indexación, pues «los algoritmos pueden evitar indexar ciertas URLs. Por ejemplo, si el contenido es irrelevante, bien puede ser indexado en su totalidad o no ser indexado en absoluto».

En cualquier caso, sabiendo cómo subir un sitemap a Google, los especialistas en SEO ahorrarán valiosos esfuerzos en la tediosa labor de garantizar la indexación de páginas en las SERPs del gigante de las búsquedas de Internet.