Robots y frecuencia de rastreo

robotYo había supuesto -no sé por qué- que el robot de Google (GoogleBot) sería el que con mayor frecuencia rastrearía las páginas de m4rt1n.com. De hecho, al principio así era. Diariamente pasaban los robots de Yahoo, Google, MSN y Ask Jeeves. Otros robots tenían menor periodicidad.
Google tenía algo más del 30 por ciento de las visitas, seguido de cerca por Yahoo. Pero el robot de este último se ha prodigado de tal manera en el último mes y medio que le ha dado la vuelta a todas las estadísticas, y reúne ya él solo más del 50 por ciento de las visitas de robots. Google (a pesar de que pasa varias veces al día) se ha quedado en un 13 por ciento, seguido de muy cerca por el robot de MSN.
No tengo ni idea de la relación que pueda existir (si existe) entre la frecuencia de rastreo de páginas web y la calidad de las búsquedas devueltas por los buscadores. Pero, en cualquier caso, un aumento tan evidente de la actividad debe tener algún sentido. ¿O no?

2 Comments

  1. Hola!! qué herramienta usas para poder saber la frecuencia de los rastreos que hace cada robot?? tendrás idea de cómo puede hacer uno para que el robot de Google pase varias veces al día, o aunque sea todos los días por el sitio de uno??

    Responder

  2. Hola. Para ver la frecuencia de rastreo de los robots en mi página uso el Plugin BBClone del CMS que uso para mi blog, DotClear. De todas formas, BBClone es un programa de estadísticas GPL que se puede personalizar fácilmente para cualquier sitio Web. En SinDominio puedes encontrar las instrucciones para instalarlo en castellano.
    Para que Google pase varias veces al día, o una sóla vez al día, por tu sitio Web, la única fórmula es la archirrepetida: conseguir que el mayor número posible de sitios Web (sin incurrir en prácticas de spam) apunten hacia tu propia página web. Cuantos más te enlacen, mayores posibilidades de que el robot de Google te visite.

    Responder

Deja un comentario