Uebereifer bei AOL und MSN?

["Bernhard Eversberg" <ev _at__ buch.biblio.etc.tu-bs.de>]

Hallo Liste,

Ist es anderswo auch schon aufgefallen, dass die Spider von AOL und MSN die Datei 
robots.txt nicht mehr beachten? Bei uns jedenfalls ist es augenscheinlich so. Man 
findet anstandslos Dateien aus Verzeichnissen, die in der robots.txt stehen.
Es ist wohl eh nur ein ungeschriebenes Gesetz, aber wir z.B. haben da Sachen zu 
liegen, deren Indexierung gar nicht sinnvoll ist, sondern tonnenweise Nieten in 
den Suchergebnissen liefert, wie z.B. Neuerwerbungs- und Zeitschriftenlisten.

MfG B.E.

Bernhard Eversberg
Universitaetsbibliothek, Postf. 3329, 
D-38023 Braunschweig, Germany
Tel.  +49 531 391-5026 , -5011 , FAX  -5836
e-mail  B.Eversberg _at__ tu-bs.de