Google no rastreará todas las páginas de tu web con la misma frecuencia ni profundidad. El crawl budget determina cuánto «esfuerzo» dedica Googlebot a tu sitio. Si lo malgastas en páginas sin valor, las importantes se rastrean menos.
Qué es el crawl budget exactamente
El crawl budget es el número de URLs que Googlebot rastreará en tu web en un tiempo determinado. No es un número fijo: varía según la autoridad de tu dominio, la velocidad de carga y la frecuencia con que actualizas el contenido.
Para webs pequeñas (50-200 páginas) el crawl budget normalmente no es un problema. Para webs grandes con miles de URLs (ecommerce, portales de noticias, webs de inmobiliarias con miles de propiedades), el crawl budget puede ser un cuello de botella real que impide que las páginas importantes se indexen con rapidez.
Cómo se malgasta el crawl budget
- URLs de parámetros indexadas: en tiendas online, las URLs de filtro (/categoria?color=rojo&talla=M) pueden multiplicar por 10 el número de URLs que Google intenta rastrear.
- Páginas de paginación sin canonical: la página 2, 3, 4 de una categoría o búsqueda interna.
- Páginas de resultados de búsqueda interna: Google no debería indexar los resultados de búsqueda de tu propia web (/buscar?q=zapatos).
- Páginas de baja calidad que no aportan valor: etiquetas de WordPress con 1-2 posts, páginas de autor de blog personal sin contenido real.
- Redirecciones en cadena: A → B → C → D. Cada salto consume recursos de rastreo innecesarios.
Cómo optimizar el crawl budget
robots.txt: bloquea URLs que no necesitas que Google rastree (resultados de búsqueda interna, páginas de administración, URLs de filtros si no necesitas posicionarlos).
Canonical: en páginas con contenido similar (paginación, versiones con parámetros), usa canonical para indicar la URL principal.
Sitemap limpio: incluye en el sitemap XML solo las URLs que quieres que Google indexe. No incluyas páginas con noindex, páginas de paginación o URLs temporales.
Mejorar la velocidad del servidor: un servidor lento hace que Googlebot espere más tiempo entre cada petición, reduciendo el número de páginas que puede rastrear por sesión.
Eliminar o noindex páginas de baja calidad: si tienes páginas que no aportan valor (páginas de etiquetas vacías, páginas de año/mes de archivo), ponles noindex o elimínalas con redirect.
Si tienes una web con miles de páginas y sospechas que el crawl budget puede ser un problema, en agencia seo tenerife hacemos auditorías técnicas que incluyen análisis del rastreo con logs del servidor. Es la forma más precisa de ver exactamente qué está rastreando Google y con qué frecuencia. Si tu diseño web tenerife tiene problemas de indexación, el crawl budget puede ser parte de la causa.
