GW
BTW:
Dieser Mann hatte vor 4 Monaten im Gulli Board, welches ich h�ufig
besuche, seinen Crawler vorgestellt.
http://board.gulli.com/thread/1379627-crawlin-teh-vz/
--
mein OpenPGP Key: 0xCECBF6B3
Auch auf Ihrem Keyserver! ;)
Der VZ-Crawler erinnert mich stark an Google News. Diese Software
durchkämmt bekanntlich die Tageszeitungen, was deren Eigentümer
verbieten wollen. Google sagt aber: setzt doch einfach den
"Norobots:yes" Schalter und fertig.
Warum StudiVZ nicht einfach ebenfalls den norobots-Schalter setzt
dürfte ein Rätsel bleiben.
Auf http://www.robotstxt.org findet sich ein Tutorial wie man Crawler
ausschließt. Und die Robots.txt Datei von StudiVZ findet sich auf
http://www.studivz.net/robots.txt