La búsqueda de información sobre los motores de búsqueda, especialmente Google y su interacción con la Google Search Console, ha traído al frente una serie de inquietudes y respuestas que merecen ser exploradas. En esta ocasión, dos temas han captado la atención de los expertos: la problemática de los errores de «noindex detected» y las continuas mejoras en el proceso de exploración de páginas web.
El vínculo entre los errores noindex y los CDN
En un reciente intercambio de ideas en Reddit, John Mueller, representante de Google, abordó el intrigante asunto de las advertencias sobre «noindex detected in X-Robots-Tag HTTP header» que aparecen en la Google Search Console. Estas alertas han sido reportadas incluso para páginas que no presentan ninguna directiva de X-Robots-Tag. Según Mueller, este fenómeno podría estar relacionado con el uso de redes de distribución de contenido (CDN), como es el caso de Cloudflare. Esta solución, bastante popular, ha mostrado ser un factor que podría contribuir a la aparición de estos errores, especialmente en páginas más antiguas que podrían haber quedado desactualizadas.
La conclusión que se extrae de sus comentarios es clara: si tu sitio utiliza un CDN y te encuentras con esta situación, es fundamental examinar si esta infraestructura está influyendo en la detección de errores noindex. Aunque Mueller no proporciona una respuesta definitiva, su perspectiva abre la puerta a la investigación y a posibles soluciones.
Mejoras en el crawling por parte de Google
En otro frente, el equipo de Google no ha dejado de trabajar en la optimización del crawling, un aspecto crucial para la indexación de contenido en la web. En una intervención de abril de 2024, Gary Illyes, también de Google, expresó su compromiso por hacer que el proceso de exploración sea más eficiente.
La meta es reducir la frecuencia con la que se exploran las páginas y la cantidad de datos que se transfieren, sin comprometer la calidad del crawling.
Recientemente, Illyes compartió en LinkedIn que se han implementado mejoras, aunque reconoce que aún queda un largo camino por recorrer. La falta de detalles específicos deja a los expertos en SEO deseando más claridad sobre cómo Google planea optimizar aún más su funcionamiento, especialmente en lo que respecta a la gestión del caché y la inteligencia de sus user agents.
La comunidad SEO seguirá esperando un poquito de luz sobre este tema.