La puesta en marcha del nuevo crawler o spider de Yahoo! para recorrer la web llevará aún unas semanas, pero el nuevo Slurp 3.0 ha sido presentado oficialmente y en Yahoo! comentan que seguirá usando las mismas directivas del user-agent y el fichero robots.txt, pero que también habrá dos novedades destacables.
La primera es que los crawlers residirán en un nuevo conjunto de direcciones IP, pero también harán uso del proceso ‘reverse DNS lookup’ que hace que los administradores tengan que tener en cuenta esas nuevas IPs utilizadas para que se registren bien sus webs.
Además de eso, el nuevo crawler devolverán un nuevo user agent, de modo que es necesario utilizar las etiquetas “Slurp” o “Yahoo! Slurp”, pero no “Slurp/2.0” que algunos administradores usaban para el anteriore crawler. En esos casos conviene utilizar las que siguen siendo válidas. Yahoo! recomienda usar la cadena “User-agent:Slurp” en nuestros ficheros robots.txt.
vINQulos
Panda comparte un caso real en el que la autenticación multifactor (MFA) ayuda a prevenir…
Juniper Research prevé un crecimiento de más del 1200 % en los próximos dos años.…
Engloba desde la conectividad y la seguridad a la renovación de dispositivos, impulsando la economía…
Pero todavía hay que mejorar: más de un 42 % de los encuestados por Finetwork…
De acuerdo con un estudio de Cisco, reclaman espacios que permitan la interacción social y…
Estos servidores afrontan "desde la resolución de los desafíos de las infraestructuras hiperconvergentes hasta los…