Todo lo que tienes que saber sobre el Crawl Budget para optimizarlo en tu web

¿Tu web tiene muchas páginas, pero solo algunas se posicionan? El problema podría no ser tu contenido, sino cómo Google lo rastrea. Google no puede rastrear e indexar todo lo que existe en internet; piensa que, de ser así, tendría que invertir una infinidad de recursos para poder analizar todas las páginas.

• Qué es el Crawl Budget
• Cómo funciona el Crawl Budget
• › Por qué está compuesto el presupuesto de rastreo
• Qué influye en Google para asignar el crawl budget
• Por qué optimizar el Crawl Budget
• Quién debe preocuparse del Crawl Budget
• Cómo optimizar el Crawl Budget para mejorar mi web
• Crawl Budget en Google Search Console
• › Indicadores para evaluar el Crawl Budget dentro de Estadísticas de rastreo
• ¿Quieres aprender más sobre SEO? Consulta nuestra guía

Qué es el Crawl Budget

El Crawl Budget, o presupuesto de rastreo, hace referencia a las veces que el robot de Google visita las páginas de un sitio web en concreto para identificar las páginas, indexarlas y mostrarlas en una búsqueda. Es un factor determinante para el SEO, ya que es el que limita a Google el descubrir páginas nuevas.

Este presupuesto no es aleatorio o predeterminado para todos. Se asigna uno diferente a cada web y está definido por la importancia, calidad, autoridad y relevancia del sitio en cuestión.

Cómo funciona el Crawl Budget

Los Googlebot hacen una solicitud a nuestra página web. Si nuestra web da una respuesta rápida a nivel de servidor y carga el contenido rápidamente es una buena señal, se le asignará un mayor presupuesto de rastreo que si, por el contrario, la solicitud va lenta.

En este caso, Google adecuará esa demanda al tiempo de respuesta, reduciendo la demanda y las consultas. El objetivo es que Google venga a “visitarnos” de manera más frecuente y que encuentre un contenido útil que cubra una intención de búsqueda en un buen tiempo de consulta.

Por qué está compuesto el presupuesto de rastreo

El Crawl Budget está formado por:

• Crawl Rate Limit (límite de velocidad de rastreo): La velocidad de rastreo está definida por las veces que puede hacer una consulta un bot de Google a un servidor sin sobrecargarlo. Un servidor rápido y estable recibirá más solicitudes de rastreo que uno inconsistente.
• Crawl Demand (demanda según rastreo): Si un contenido es fresco, está actualizado, tiene datos bien estructurados y recibe tráfico orgánico, se convierte en una URL interesante para los bots de Google.
• Indexing Queue y Host Load (Cola de indexación): Tras el rastreo de la página, esta pasa por un renderizado de sus recursos externos; si tarda en renderizar o el contenido es demasiado pesado, se puede posponer la indexación y se consume el Crawl Budget.
  Si el servidor muestra indicios de sobrecarga, se reduce la frecuencia de rastreo de manera automática.

Qué influye en Google para asignar el Crawl Budget

• Tamaño de la web: Los sitios grandes con muchas páginas tienen un mayor Crawl Budget en comparación con páginas más pequeñas.
• Estado del servidor: Un servidor rápido puede permitir un mayor Crawl Budget
• Estructura del sitio: Un sitio bien estructurado y con buena arquitectura de enlaces internos facilita el rastreo eficiente por parte de los bots.
• Contenido duplicado: El contenido duplicado puede desperdiciar el Crawl Budget, ya que los motores de búsqueda rastrean páginas con contenido similar sin velocidad adicional.
• Bloqueos en robots txt: Bloquear partes del sitio que no son importantes para el SEO puede ayudar.

Enfócate en lo básico: mejorar la velocidad de carga, eliminar contenido duplicado y estructurar bien tu sitio evitando errores de página.

Por qué optimizar el Crawl Budget

El Crawl Budget tiene un impacto directo con la indexación de las páginas y afecta a la visibilidad y posicionamiento de las mismas. Permite descubrir páginas nuevas e indexarlas de una forma más rápida y efectiva. Por eso debe estar trabajado y no debe tenerse como algo secundario si influye de manera directa en tu web.

Quién debe preocuparse del Crawl Budget

¿Pero entonces tengo que preocuparme del Crawl Budget? Si cuentas con un sitio grande con muchas URLs o se actualiza muy a menudo, es importante que este presupuesto esté optimizado.

Podría resumirse en:

• Sitios con más de un millón de páginas.
• Webs medianas con 10.000 páginas y con contenido que se actualiza a diario.

Sí, no cumples alguno de estos dos requisitos, lo más probable es que el Crawl Budget asignado a tu web sea más que suficiente.

Cómo optimizar el Crawl Budget para mejorar mi web

Mejora la velocidad del servidor. Una optimización del servidor es crucial para garantizar un rendimiento eficiente, así como unos tiempos de carga mínimos. Esto no solo mejora la experiencia del usuario, sino que contribuye a la estabilidad del sitio.

Elimina el contenido duplicado. De esta manera, evitarás que los bots destinen recursos analizando contenido que ya se ha rastreado.

• Puedes utilizar una redirección 301, si se trata de una página que queremos redirigir de manera permanente.
• Usa etiquetas canonical. Esta alternativa se utiliza cuando contamos con varias páginas de contenido muy similar o duplicado. Sirve para indicarles a los crawlers cuál es la página que deben rastrear.

Utiliza archivos robots.txt y metaetiquetas adecuadamente. El archivo robots.txt debe estar ubicado en el directorio raíz y solo debe haber uno por sitio. En él podemos indicar las rutas que no queremos que se rastreen declarándose en el “Disallow”.

Además, puedes usar la directiva “Allow” para especificar rutas a las que no tenga acceso y que quisieses que se indexen.

El uso de la metaetiqueta robots permite identificar qué páginas deben ser rastreadas e indexadas por los motores de búsqueda.

Optimiza la estructura del sitio. Se suelen visitar las páginas con más enlaces.

Aumentar la velocidad de carga de una web, ayuda y simplifica el rastreo de la página web por Google.

Crea un sitemap bien planteado y declarado en el robots txt. En él deben listarse todas las páginas relevantes del sitio web y se puede incluir información como fechas de últimas actualizaciones, versiones en diferentes idiomas,...

Reduce los errores 404. Para evitar que se destinen recursos innecesarios tratando de analizar páginas con errores 404.

• Si se trata de un enlace en nuestra web que tiene una URL con algún fallo (está mal escrita, está incompleta,...), debemos corregirla para que apunte al sitio correctamente.
• Si el error aparece porque se ha eliminado una página de manera accidental, la solución es sencilla: crearla de nuevo.
• Si la página ya no existe, se puede crear una redirección 301.

URLs indexadas que cubran intenciones de búsqueda. Contar con contenido de calidad que responda a consultas de los usuarios de forma satisfactoria favorece a ser concebido como un sitio con autoridad.

Destaca aquellos contenidos que sean relevantes para mejorar su rastreabilidad.

Contenido de calidad = mayor rastreo: Si tu contenido es útil y relevante, Googlebot querrá rastrearlo más frecuentemente. Optimiza las páginas que responden mejor a las intenciones de búsqueda de tus usuarios.

Crawl Budget en Google Search Console

Determinar el crawl budget no es sencillo, ya que no hay una especificación al uso. Sin embargo, podemos hacer una estimación del mismo.

1. Determina el número de páginas indexadas. Puedes identificarlas a través de Google Search Console en el apartado de páginas dentro de indexación del menú lateral.
2. Consulta el total de solicitudes de rastreo. Puedes hacerlo a través de las estadísticas de rastreo en el apartado de Ajustes del menú principal.
3. Calcula la media de peticiones diarias dividiendo las peticiones de rastreo entre 90 y así obtienes las solicitudes diarias. Si divides el nº de páginas indexadas entre el nº de solicitudes diarias, obtendrás la estimación de presupuesto.

Estimación de presupuesto = nº de páginas indexadas / (Solicitudes de rastreo / 90)

Indicadores para evaluar el Crawl Budget dentro de Estadísticas de rastreo

Para poder analizar la situación de nuestra web, podemos fijarnos en las estadísticas de rastreo de Google Search Console, donde puedes ver si ha habido algún problema, la respuesta que ha dado el servidor y el tiempo que ha invertido en realizar esas solicitudes.

Para poder acceder al Informe de situación de tu sitio web, debes acceder desde el menú lateral izquierdo de Google Search Console a Ajustes > Estadísticas de rastreo.

• Velocidad de respuesta del servidor. Se analiza a través del tiempo medio de respuesta del servidor, que es el tiempo medio que tarda en obtener contenidos de una página.
• Rastreo por respuesta. Valora el porcentaje de respuestas 200 (correctas), así como los 404 que deberás corregir y 500 para tener una visión general de la situación de tu página.

Además, si nos vamos a indexación de páginas, podemos ver el nº de páginas que se rastrean en un intervalo de tiempo. Si combinamos esta información con la frecuencia de rastreo, podemos ver la cantidad de solicitudes.

Ej. Si tenemos 60.000 solicitudes de rastreo y se rastrean 10.000 páginas (que es el tamaño de mi site). Se podrá pasar hasta 6 veces

¿Quieres aprender más sobre SEO? Consulta nuestra guía

En definitiva, entender y optimizar el Crawl Budget es una tarea esencial si gestionas un sitio web grande, con actualizaciones frecuentes o con una arquitectura compleja. Un buen presupuesto de rastreo garantiza que Google descubra e indexe tus contenidos de forma eficaz, mejorando su visibilidad en los resultados de búsqueda.

Si combinas una buena estructura web, contenidos relevantes y una estrategia técnica bien afinada, estarás ayudando a los bots de Google a hacer su trabajo... y eso siempre se traduce en mejores resultados SEO. Ahora que ya sabes cómo gestionarlo, es momento de ponerte manos a la obra.