Fwd: 有关crawlzilla 一些问题的请教

105 views
Skip to first unread message

威宇

unread,
Oct 14, 2012, 2:50:56 AM10/14/12
to crawlzi...@googlegroups.com

老师:
        您好!
        我最近在安装crawlzilla,使用的环境是ubuntu12.04,而且crawlzilla 也已经成功安装完毕。但在设定爬取数据的时候会出现error:hadoop dfs -mkdir 的错误,我个人猜测是没有开启datanode 的原因,可是按照 系統管理介面操作說明 页面中的步骤,始终不能开启datanode,因此发此邮件来请教您。殷切希望得到您的指点。

——来自大陆的学生 许孟

Jazz Yao-Tsung Wang

unread,
Nov 15, 2012, 5:01:26 AM11/15/12
to crawlzi...@googlegroups.com
基本上得先確認 jps 的結果是否有 DataNode

crawler@CrawlzillaServ:~$ jps
28724 Bootstrap
1457 DataNode
1373 TaskTracker
1267 JobTracker
3896 Crawl
24949 Jps
1195 NameNode

同樣的問題我有遇過,請問是 admin 最開始就不能用了嗎?
可以用 crawler 身份執行 /opt/crawlzilla/nutch/bin/hadoop dfs -mkdir admin

- Jazz


威宇於 2012年10月14日星期日UTC+8下午2時50分57秒寫道:
老师:
        您好!
        我最近在安装crawlzilla,使用的环境是ubuntu12.04,而且crawlzilla 也已经成功安装完毕。但在设定爬取数据的时候会出现error:hadoop dfs -mkdir 的错误,我个人猜测是没有开启datanode 的原因,可是按照 系�管理介面操作�明 页面中的步骤,始终不能开启datanode,因此发此邮件来请教您。殷切希望得到您的指点。

——来自大陆的学生 许孟

C.D Shi

unread,
Jul 10, 2013, 2:24:56 AM7/10/13
to crawlzi...@googlegroups.com

试试看把虚拟机的内存设置的大一些 比如2GB :)

Reply all
Reply to author
Forward
0 new messages