抓抓龍1.1.2 在CentOS 6.3 64bit裝好了, 但是跑不動?!

33 views

Skip to first unread message

unread,

Jan 27, 2013, 10:47:37 PM1/27/13

to crawlzi...@googlegroups.com

Dear All,

請教一下, 我上週五裝好之後, 就放著給它跑, 但是後來就失敗了.... 記錄如下：

houseweb error: nutch crawl finished broken 66h:10m:5s

nchc crawling 0h:44m:5s <= 這個是今天才跑的

開始檢查 Cluster...請稍候（node數越多,等待時間越長）

= [Crawlzilla 管理介面] ~by NCHC =

lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq[Cluster 狀態]qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk

x [位址] [名稱] [網路] [運算狀態] x

x ------------------------------------------------------------------------ x

x 218.210.77.123 hadoop.okhouse.com.tw online Run(Warn) x

請問應該要如何除錯呢?

我是有看一下 /var/log/crawlzilla/底下有發現一些 log, 或是連到

去看, 發現

Running Jobs

none

none

none

不會就只能用 Ubuntu 10.04LTS 才能裝吧?!

另外, iptables 本機防火牆有沒有哪些 port 要開? 可以請教一下嗎? 謝謝!!

unread,

Jan 28, 2013, 1:01:33 AM1/28/13

to crawlzi...@googlegroups.com

> houseweb error: nutch crawl finished broken 66h:10m:5s
> nchc crawling 0h:44m:5s <= 這個是今天才跑的

通常爬取過久會失敗，這跟底層實作有點關係。當爬取時間超過四個小時
就會被作業系統強制將 Java Process 砍掉。

> 我是有看一下 /var/log/crawlzilla/底下有發現一些 log, 或是連到
> http://218.210.77.123:50030/jobtracker.jsp

如果 Running Job / Fail Job 跟 Job History 都沒有出現資料，就有點怪了~

- Jazz

Reply all

Reply to author

Forward

0 new messages