Los webmasters ‘trucan’ sus sitios web para favorecer las búsquedas en Google

Empresas

Investigadores de la Universidad Penn State en EEUU han descubierto que los ficheros robots.txt – una valiosa ayuda para los crawlers de los buscadores – son a menudo modificados para favorecer al buscador de Google.

Estos ficheros son utilizados por esos ‘spiders’ o ‘crawlers’, que no hacen más que recorrer los sitios web para actualizar la información en Google y otros buscadores como Yahoo! o MSN Live Search que luego permite  encontrar el dato que buscábamos fácilmente.

No obstante, un estudio que incluye a 7.500 sitios webs ha demostrado que los webmasters ‘tunean’ estos ficheros para favorecer al buscador de Google así como los de Yahoo! y MSN, pero restringen el acceso a otros buscadores ‘menores’.

Por ejemplo, varios sitios web del gobierno de los EEUU favorecen al crawler de Google – llamado Googlebot – y luego a Yahoo! y MSN. Aunque los investigadores no dan detalles de cómo funcionan estas prácticas, confirman que esos cambios se realizaron conscientemente y que el uso de ficheros robots.txt precisamente está destinado a especificar ciertas reglas para buscadores. Si no existe dicho fichero todos los buscadores tienen los mismos derechos y privilegios a la hora de indexar la información de estos sitios web.

vINQulos

Penn State Live

Leer la biografía del autor  Ocultar la biografía del autor