Elástico.net La Petite Claudine Beguemot Biblioteca Wiki Foros  

Noviembre 28, 2005

Borrando pistas

Si Google no lo ve, es que no existe. El archivo robots.txt –que se coloca en el directorio raíz de muchas webs– sirve para dar instrucciones a las “arañas” de los buscadores para que no fisguen donde no interesa, para que no guarden copias. Vean la lista prohibida de la página web de la Casa Blanca. Por la "i" de Iraq no me viene nada. ¿Qué habrá en el directorio /911/911day/iraq?

Vía Guerra Eterna, vía Atrios

¿Qué habrá en el directorio /911/911day/iraq?

Ignacio Escolar | Noviembre 28, 2005 12:59 PM


Comentarios

#1. Publicado por Skipper - Noviembre 28, 2005 01:10 PM.

Creo que hay que contar con estas cosas. Google será fagocitada por el sistema (si no la ha sido ya). Pero surgirán nuevos buscadores que tomarán el relevo y a su vez serán controlados de nuevo.

Es de destacar como google earth censura trozos de la superficie del globo terráqueo donde hay antenas destinadas a experimentos poco éticos(Alaska, etc.) u otros estratégicos por una razón u otra.

Si google quiere subsistir, debe seguir haciendo caso a su algoritmo matemático que pone en primer lugar a los sitios mas significativos (según dicho algoritmo) y a los de pago en una parte bien diferenciada.

Salu2

#2. Publicado por Nacho - Noviembre 28, 2005 01:13 PM.

Tampoco es culpa de Google, Skipper. El "robots.txt" lo respetan (creo) todos los buscadores. Es un pacto entre buscadores y buscados. No sólo lo usa la Casa Blanca, lo usa un altísimo porcentaje de todas las webs del planeta.

Lo curioso es lo completito que es este robots.txt. Casi acaban antes explicando donde sí se puede buscar.

#3. Publicado por chus - Noviembre 28, 2005 01:21 PM.

http://www.la-moncloa.es/robots.txt -> not found

ídem con pp.es y psoe.es


en esta última esperaba encontrarme:

Disallow: /contubernio/text

¡qué decepción!

#4. Publicado por Polimorficamente Perverso - Noviembre 28, 2005 01:25 PM.

A mi lo que me interesa saber es lo que hay en los firstlady/photoessay
XD

#5. Publicado por Rsc - Noviembre 29, 2005 03:16 AM.

> A mi lo que me interesa saber es lo que hay en los
> firstlady/photoessay
> XD
Me parece que sólo contiene una foto, que puedes encontrar aquí:
http://tinyurl.com/aeoba

#6. Publicado por Perico - Noviembre 29, 2005 07:27 AM.

El robots.txt lo tienen millones de webs. No busquemos conspiraciones donde no las hay. Cada web oculta lo que considere oportuno y por el motivo que igualmente considere oportuno.

#7. Publicado por Perica - Noviembre 29, 2005 07:30 AM.

Estoy con Perico, el del anterior comentario.

#8. Publicado por - Noviembre 29, 2005 09:03 AM.

El robots.txt es una reliquia de otra epoca de internet. Hoy día el webmaster que confie en que las arañas respetarán al robots.txt se merece lo que le pase !!

#9. Publicado por El Enlace Sindical - Noviembre 29, 2005 09:53 AM.

Porqué cojones aparece quinientas veces el directorio "/iraq"?

Envía un comentario




¿Me quedo con tu información personal para el siguiente comentario?