Re: 轉寄: Re: 回信: Re: 回信: Re: 請教爬取問題

[Jazz Yao-Tsung Wang]

抱歉，過去兩天分別有兩場演講，較晚回覆。

從圖片跟描述看起來，應該是遇到一些奇怪的狀況了。
我確實也曾經遇過一次，只是還沒研究出怎麼重現這個現象。

(1) 關於按「Delete Status」按鈕也無法刪除的情形，解法：

rm -rf /home/crawler/crawlzilla/user/admin/temp/test
rm -rf /home/crawler/crawlzilla/user/admin/temp/test-1
rm -rf /home/crawler/crawlzilla/user/admin/temp/test-2
rm -rf /home/crawler/crawlzilla/user/admin/temp/test-3

(2) 關於「hadoop dfs -mkdir /user/crawler/admin/test-2 broken」的問題，
最近我新裝 1.1.2 常常遇到，可能流程有問題，暫時的解法：

su - crawler

先確定 HDFS 上 /user/crawler 目錄是否存在

hadoop dfs -ls /user/crawler

若無，則用以下指令建立

hadoop dfs -mkdir /user/crawler

- Jazz

2013/3/6 <ttz0...@tzuchi.org.tw>
> 你好：
> 以下的圖片是自從上次詢問如何解決爬取失敗索引庫的問題後，目前已累計的時間。
> 沒有辦法取消或是強制刪除失敗的爬取任務？
> 按了Delete Status也沒有反應！
> 感恩