Estos ficheros son utilizados por esos ‘spiders’ o ‘crawlers’, que no hacen más que recorrer los sitios web para actualizar la información en Google y otros buscadores como Yahoo! o MSN Live Search que luego permite encontrar el dato que buscábamos fácilmente.
No obstante, un estudio que incluye a 7.500 sitios webs ha demostrado que los webmasters ‘tunean’ estos ficheros para favorecer al buscador de Google así como los de Yahoo! y MSN, pero restringen el acceso a otros buscadores ‘menores’.
Por ejemplo, varios sitios web del gobierno de los EEUU favorecen al crawler de Google – llamado Googlebot – y luego a Yahoo! y MSN. Aunque los investigadores no dan detalles de cómo funcionan estas prácticas, confirman que esos cambios se realizaron conscientemente y que el uso de ficheros robots.txt precisamente está destinado a especificar ciertas reglas para buscadores. Si no existe dicho fichero todos los buscadores tienen los mismos derechos y privilegios a la hora de indexar la información de estos sitios web.
vINQulos
Mejora su plataforma para ayudar a gestionar los riesgos asociados a una adopción masiva de…
Sin embargo, aumentaron los incidentes con gravedad media o baja. Los expertos advierten sobre la…
La pérdida por acción GAAP de la compañía menguó hasta los 0,09 dólares durante el…
Ubicado en Estambul, permite revisar el código fuente de los productos, actualizaciones de software y…
Durante el primer trimestre de su año fiscal 2024 alcanzó los 378,6 millones de dólares.
La compañía californiana ha sufrido descensos en el segmento de productos, como los iPhone, pero…