声明：请百度不要再抓DoNews的Wiki

[Cyber-walker]

声明：请百度不要再抓DoNews的Wiki
作者：霍炬 | 出处：DoNews | 2006-5-12 19:12:59 | 阅读 10538
次

wiki.donews.com连续几天，定时被百度的抓取机器人抓到系统停止响应。

拜托百度，不要这样抓内容了。就算抓，也应该用1个线程来抓，只抓更新的内容，何必每天抓一次，而且用无数个线程，而且每次都要抓全部内容，还不放过任何wiki的历史页面，甚至连错误信息都要原样搬走。

这种抓取方法，谁受得了？

原文链接：http://blog.donews.com/virushuo/archive/2006/05/12/866456.aspx

[汽车]

百度要是抓我的网站 www.dfjyqc.com
也抓到系统停止响应，那我一定幸福的死掉。