¿Qué es el Crawl Budget?

El Crawl Budget se define como la cantidad de páginas que puede rastrear e indexar el bot de un buscador (Como Google) en un período de tiempo determinado en un determinado dominio.

Este límite existe porque los buscadores tienen que analizar millones de páginas web al día, lo que tiene que considerar ciertos criterios para limitar el consumo de recursos para optimizar su propia metodología de indexación.

Los dos factores que consideran que clasifican esta variable son:

• La popularidad de la web: Si esta crea muchos artículos o tiene muchas actualizaciones con frecuencia, la web requerirá de más tiempo de rastreo. Aparte, habría que considerar si para el buscador esa web es de confianza.
• La capacidad de tu web: Depende de las capacidades de tu servidor. En caso de que la web sea lenta, suele ser habitual que rastree durante menos tiempo esos mismos rastreadores.

Hay que destacar, que si tu página web no es muy grande (Hablamos de más de 10.000 URL) no suele ser un problema.