crawl setup是否能只抓網內?

[JC]

crawl setup是否可能只抓網內?
雖有設depth, 但是就算只設 2, 還是可能抓到網外的url
如果我只需要網內的資料
有無哪裡可以設定?
感謝大家!

[Jazz Yao-Tsung Wang]

Nutch 有白名單跟黑名單的擴充套件。目前 Crawlzilla 並沒有啟用。
所以如果您有特殊需求，請參閱
http://www.atlantbh.com/precise-data-extraction-with-apache-nutch/

- Jazz

--
You received this message because you are subscribed to the Google Groups "crawlzilla-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to crawlzilla-us...@googlegroups.com.
For more options, visit https://groups.google.com/groups/opt_out.

[Jazz Yao-Tsung Wang]

主要應該是改 /opt/crawlzilla/nutch/conf/crawl-urlfilter.txt

改成

# 只接受什麼網址
# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
+^http://([a-z0-9]*\.)*.*/

# 開啟過濾掉其他的網址
# skip everything else
-.
 
# 關掉原本開放的所有網址
#accecpt anything else
# +.*

- Jazz

[JC]

Jazz, 非常感謝您~ 我試看看

JC於 2013年4月11日星期四UTC+8下午4時08分55秒寫道：

[Jazz Yao-Tsung Wang]

剛剛測試過將 crawl-utlfilter.txt 設定成只爬取特定網域，結果是成功的。

最後幾行為

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*nchc.org.tw/
#+^http://([a-z0-9]*\.)*.*/

# skip everything else
-.
#accecpt anything else
#+.*

爬取來源 http://www.nchc.org.tw/tw/ 深度 2

Crawl Depth 2
Create Time 20130411-17:11:26
Execution time 0:18:6
Start Links http://www.nchc.org.tw/tw/

網址排行榜：通通落在 nchc.org.tw 範圍內。

0	site:www.nchc.org.tw	54		1	site:service.nchc.org.tw	4
2	site:event.nchc.org.tw	2		3	site:colife.nchc.org.tw	1
4	site:www.floodgrid.nchc.org.tw	1		5	site:humem.nchc.org.tw	1
6	site:elib.nchc.org.tw	1		7	site:pccluster.nchc.org.tw	1
8	site:nano.nchc.org.tw	1		9	site:volunteer.nchc.org.tw	1
10	site:ecogrid.nchc.org.tw	1		11	site:bioinfo.nchc.org.tw	1
12	site:accta.nchc.org.tw	1

- Jazz

[JC]

感謝Jazz

確實可以只抓網內url

Jazz Yao-Tsung Wang於 2013年4月11日星期四UTC+8下午5時36分19秒寫道：