【お知恵をお貸しください】震災・ボラ情報収集クロール
naoki shibazaki
私は慶応義塾大学環境情報学部3年の柴崎直貴と申します。
現在私は被災地支援団体「Youth for
3.11」という団体で運営メンバーの1員をやらせていただいているのですが、自分自身がRubyistの端くれということもあり、サイトを回って震災・ボラ情報を収集するクロールを作り、毎日メーリスに流すという作業をしています。
ここにいる皆様方ならばすでに言わずもがなとは思いますが、支援団体にとって被災地の情報というのは常に最新のを得ていくことがベストであり、それを可能な限り自動化させようとしています。
ただ、今現在自分の持つ課題として
◯Rubyプログラムの実行が手作業
◯数が多いばかりで、質が悪い
という問題があります。
後者はある程度しょうがないとはいえ、前者は自分が動かせない＝配信できないということになってしまうため、早急にしたいと思っています。
そして、自分自身の環境において
◯自前鯖・自前レンタル鯖がない
◯常に起動しておけるPCがない
◯これに対する資金は団体からもらえない
◯一応、学校に鯖はあるものの、Rubyに使っているHpricotは入っておらず、インストール権限なし。そもそものCron設定もできない
という状況です。
このような環境で、自動化する方法を考えているのですが、ちえをお貸ししていただけると嬉しく思います。
どうぞよろしくお願いします。
簡単にシステムを説明しますと
＜Ruby＞
Hpricotを用いて「Yahoo!ニュース」「毎日.jp」「livedoorニュース」で「東日本大震災
ボランティア」での検索結果を調べていき、設定した日（実行日からの相対的な日）の情報を収集し、そのサイトURL・タイトル・日時を取得する
それを、Googleスプレッドシートにアップロードする（これは、gemからgoogle-spreadsheet-rubyを使っています。参考にしたサイトhttp://d.hatena.ne.jp/Gimite/20081224/1230105356）
＜Google スプレッドシート スクリプト＞
スプレッドシートに入力された情報に番号をつけ、シート情報を削除しながら変数に代入、それらを最後にメーリスに流すという標準システムを利用しています。
参考までに、どのような形で流れているのかを載せます。
アドバイス等、どうぞよろしくお願いします。
失礼します
-------------------------------------------------------------------
件名：【Rschザッキー→コア(テスト運用)】震災・ボラ情報Fri Oct 07 2011 00:14:48 GMT+0900 (JST)
本文：
ザッキーです。
本日の震災・ボラ情報 42件です
1)東日本大震災の被災地に車を－八王子でボランティア活動進む ／東京
http://headlines.yahoo.co.jp/hl?a=20111006-00000052-minkei-l13
10月6日（木）19時13分
2)各大学のミスキャンパスも熱烈サポート、“マイクロソフト学園祭応援キャンペーン”を実施
http://headlines.yahoo.co.jp/hl?a=20111006-00000034-famitsu-game
10月6日（木）16時52分
3)響き交わる街いつまでも 大フィル音楽監督 大植英次さん
http://headlines.yahoo.co.jp/hl?a=20111006-00000136-san-ent
10月6日（木）15時24分
4)東日本大震災：支援物資、行き先決まらぬ９０００点 古着中心、県が対応検討 ／熊本
http://headlines.yahoo.co.jp/hl?a=20111006-00000194-mailo-l43
10月6日（木）14時41分
5)岩手派遣のボランティア、継続の必要性を痛感/葉山
http://headlines.yahoo.co.jp/hl?a=20111006-00000018-kana-l14
10月6日（木）14時0分
6)東日本大震災：南相馬市と東大、放射性物質測定や除染で協定締結 ／福島
http://headlines.yahoo.co.jp/hl?a=20111006-00000005-mailo-l07
10月6日（木）10時31分
7)ファイル仮想化を推進するSMB向けプラットフォーム「Hitachi Virtual File Platform 50」
http://news.livedoor.com/article/detail/5918582/
ITmedia エンタープライズ2011年10月06日22時44分
8)【連載】「城南海」のよみかたVol.5「音楽プロデューサー武部聡志が分析、城南海の持ち味と可能性」
http://news.livedoor.com/article/detail/5918519/
BARKS2011年10月06日22時17分
9)AKB48、今年の「NHK紅白歌合戦」の紅白応援隊に就任！「歌うことで、元気や笑顔を届けられたら」
http://news.livedoor.com/article/detail/5918494/
シネマトゥデイ2011年10月06日22時02分
10)ことしの紅白応援隊は大人数!! テリー伊藤とAKB48が元気を届ける
http://news.livedoor.com/article/detail/5918533/
webザテレビジョン2011年10月06日21時38分
11)非嫡出子の相続分差別は違憲～大阪高裁判決確定で民法改正なるか？
http://news.livedoor.com/article/detail/5918374/
ネット選挙ドットコム2011年10月06日21時00分
12)激動の時代のリスクに備えるためには？―松島修さんインタビュー（１）
http://news.livedoor.com/article/detail/5918388/
新刊JPニュース2011年10月06日21時00分
13)三洋電機、充電しておけば5年後でも使用可能な新「エネループ」を発売
http://news.livedoor.com/article/detail/5918358/
財経新聞2011年10月06日20時51分
14)AKB48、グループ初のNHK紅白応援隊に使命感「歌のすごさ伝えたい」
http://news.livedoor.com/article/detail/5918348/
オリコン2011年10月06日20時44分
15)【CEATEC JAPAN 2011】東芝、「レグザタブレット」やフルHD約4倍の液晶テレビ「REGZA 55X3」など
http://news.livedoor.com/article/detail/5918341/
BCNランキング2011年10月06日20時40分
16)AKB48が紅白応援隊就任「全国に歌の力を伝えられたら」
http://news.livedoor.com/article/detail/5918404/
ナタリー2011年10月06日20時40分
17)看護職の労働環境改善で野田首相に要望書－日看協・坂本会長
http://news.livedoor.com/article/detail/5918342/
医療・介護情報CBニュース2011年10月06日20時34分
18)[PS3] 本日発売のPS3/Xbox 360『F1 2011』とF1日本GPについて電アスレース部の3人が語る！
さらにTGS2011で配布したPDFも配信
http://news.livedoor.com/article/detail/5918343/
電撃オンライン2011年10月06日20時24分
19)“ハーフ”ベッキー、海外進出目指すも英語力は「ウエンツ以上SHELLY未満」
http://news.livedoor.com/article/detail/5918261/
オリコン2011年10月06日20時14分
20)議員歳費減額、延長せず＝「一区切り付いた」―輿石民主幹事長
http://news.livedoor.com/article/detail/5918270/
時事通信社2011年10月06日20時06分
21)野田首相、小宮山厚労相発言を修正
http://news.livedoor.com/article/image_detail/5918247/
時事通信社2011年10月06日19時59分
22)津波被害の火力発電所を公開
http://news.livedoor.com/article/image_detail/5918249/
時事通信社2011年10月06日19時58分
23)トヨタの国内生産、９月に完全回復＝通常生産の体制整う
http://news.livedoor.com/article/detail/5918236/
時事通信社2011年10月06日19時29分
24)公共事業の執行留保を解除へ＝５％分の３千億円―安住財務相
http://news.livedoor.com/article/detail/5918267/
時事通信社2011年10月06日19時12分
25)「たった1つのことがものすごいマイナスの時に身を助ける」、映画「はやぶさ／HAYABUSA」堤幸彦監督インタビュー
http://news.livedoor.com/article/detail/5918034/
GIGAZINE2011年10月06日19時00分
26)9月の新車販売台数、13カ月ぶりに前年同月比でプラスに
http://news.livedoor.com/article/detail/5918012/
Business Media 誠2011年10月06日18時58分
27)震災後、シトリックスの在宅勤務を支えた2つの制度
http://news.livedoor.com/article/detail/5918086/
誠 Biz.ID2011年10月06日18時47分
28)震災後の品不足で価格改善＝スーパー、コンビニに特需
http://news.livedoor.com/article/detail/5918233/
時事通信社2011年10月06日18時23分
29)コンビニ４社の８月中間、増収増益＝復興需要と「中食」好調
http://news.livedoor.com/article/detail/5918232/
時事通信社2011年10月06日18時23分
30)津波被害の火力発電所を公開＝１３年夏の再開目指し、８００人で復旧作業―東北電
http://news.livedoor.com/article/detail/5918265/
時事通信社2011年10月06日18時15分
31)新花巻駅で天井落下＝重さ２００キロ、けが人なし―岩手
http://news.livedoor.com/article/detail/5917914/
時事通信社2011年10月06日18時04分
32)東北電、津波被害の原町火力発電所を公開＝１３年夏再開目指し、８００人で復旧作業
http://news.livedoor.com/article/detail/5918231/
時事通信社2011年10月06日18時01分
33)いま話題のソーシャルメディアをテーマにした初の電子雑誌 「SOCIAL MEDIA LIFE JAPAN」創刊準備号を、無料で配信開始！
http://news.livedoor.com/article/detail/5918100/
ドリームニュース2011年10月06日18時00分
34)「法廷でしっかり説明を」＝小沢氏喚問には否定的―首相
http://news.livedoor.com/article/detail/5917820/
時事通信社2011年10月06日17時59分
35)債権放棄、否定せず＝東電賠償支援で―枝野経産相
http://news.livedoor.com/article/detail/5917824/
時事通信社2011年10月06日17時43分
36)希望新聞：東日本大震災サポート情報 ６日現在
http://mainichi.jp/universalon/clipping/archive/news/2011/08/07/20110807ddm035040036000c.html
2011年10月6日21時46分
37)希望新聞：東日本大震災 災害ボランティア、電話応対勉強会
http://mainichi.jp/select/weathernews/20110311/kibou/news/20111006ddm035040036000c.html
2011年10月6日6時0分
38)東日本大震災：南相馬市と東大、放射性物質測定や除染で協定締結 ／福島
http://mainichi.jp/area/fukushima/news/20111006ddlk07040202000c.html
2011年10月6日6時0分
39)東日本大震災：支援物資、行き先決まらぬ９０００点 古着中心、県が対応検討 ／熊本
http://mainichi.jp/area/kumamoto/news/20111006ddlk43040480000c.html
2011年10月6日6時0分
40)東日本大震災：うらやす復興祭 液状化被害、支援に感謝！－－８日から ／千葉
http://mainichi.jp/area/chiba/news/20111006ddlk12040035000c.html
2011年10月6日6時0分
41)サポート情報：ボランティア １２日現在
http://mainichi.jp/flash/news/20110913k0000m040046000c.html
2011年10月6日2時24分
42)希望新聞：東日本大震災サポート情報 ５日現在
http://mainichi.jp/universalon/clipping/archive/news/2011/09/06/20110906ddm035040008000c.html
2011年10月6日2時20分
Haruyuki SEKI
柴崎さん
sinsai.info 関です。
素晴らしい取り組みですね！
この収集データから、良さそうなものがあった場合sinsai.info に掲載してもよろしいでしょうか。
sinsai.info の連携システムという形であれば、現在sinsai.info が稼働するホスティング上で動かすことができます。
現在インフラ移行中なので、今月一杯くらいは繋ぎで弊社Georepublic社のインフラをお貸しします。
簡単なスクリプトであれば、ソースを頂ければこちらで設定させていただきます。
サーバーにログイン出来る必要はありますか？
関
2011/10/07 10:35 "naoki shibazaki" <t094...@gmail.com>:
naoki shibazaki
柴崎です。
返信ありがとうございます。
もし、お互いのメリットになるのであれば、是非お願いしたいと考えております。
もちろん、こちらが取得したデータを利用していただけるのであれば是非使っていただければと思います。
サーバー自体に入れる必要性はないのですが、ソースコード自体は未だ開発途中であり（精度があまりよくない）今後も改善したいと考えています。
ソースはあることはあるのですが、googleスプレッドシートにアクセスする手間、プログラムに自分のアカウントのidとパスワードが書いてあるため、どういう管理をすればいいのか。。。悩んでいます。。。
少し、連携について話を詰めつつ、出来ればと考えております。
よろしくお願い致します。
失礼します。
2011年10月8日0:14 Haruyuki SEKI <hal.ma...@gmail.com>:
Kaori.Kowada
助けあいジャパン小和田です。
いろいろ応用できそうなしくみですね！
助けあいジャパンでも、サーバー、PCのご協力可能です。
関さんのところで十分な気もしますが＾＾
元の情報ソースについては、
（どういう人をターゲットにするかにもよりますが）
より現地のことを伝えるなら、地方紙などを加えると情報の厚みが出るかと。
よろしければコラボしましょう♪
こわだ
Mail：kaori...@gmail.com
2011年10月8日0:14 Haruyuki SEKI <hal.ma...@gmail.com>:
naoki shibazaki
え。。。あの有名な助けあいジャパン。。。の方ですか！？
情報の共有などは、本当にいろんなかたと出来るといいなと思うので、是非コラボさせていただければと思います。
ちなみに、近いうちに地方紙の情報として河北新報http://www.kahoku.co.jp/ を導入しようと思います。
私が集めているのは、現地の状況を性格に把握し、最大限の復興支援をするためのリサーチとして行なっています。
今後、現地の情報として意見が集まっているのは
「被災地 寒さ」「被災地 冬」「被災地 雪」など、冬に向けた情報収集の声を聞いています。
情報を集めるのは簡単なのですが、それの精度を上げるほうが難しい、というのも、現行のシステムですら、多い時に１００個以上集めてしまい、当たり前ですが全部読めません。更に情報源を増やした日には。。。
もし出来るのであれば、これらの情報を自動精査し、助けあいジャパン・sinsai.info・Youth for
3.11で共有できる情報ＤＢみたいのを作れればと思います。
ご協力お願いしますm(_ _)m
2011年10月8日0:51 Kaori.Kowada <kaori....@gmail.com>:
naoki shibazaki
Haruyuki SEKI
小和田さん、柴崎さん
関です。一旦こちらのサーバーに置いてからsinsai.info に引っ越すのも面倒だとおもうので、最初から助けあいジャパンさんの方に置いた方が良いかもしれませんね。
助けあいジャパン側で問題なければ、是非そちらをお使いください。私に何かお手伝いできる事があれば喜んでさせていただきます。sinsai.info の連携については改めてご連絡させていただきますね。
Kaori.Kowada
承知しました。
サーバー／PCなどはご提供できるのですが、
技術者が不足していますので、導入へのご支援いただけるとありがたいです。
sinsai.infoとの連携など、
10/12の夜、お目にかかった時にでも、ご相談できれば＾＾
柴崎さん
よろしければ、近日お目にかかれませんか？
同一コンテンツのかぶりなどは、メール配信にするなら、一回人間でフィルターを入れた方が見易いのかな～？と思ったり。（そのボランティアを集めなくてはですが）
ご都合、以下アドレスにご連絡くださいませ☆
Mail: kaori...@gmail.com
携帯 090-8804-3201
助けあいジャパン こわだ
2011年10月8日17:41 Haruyuki SEKI <hal.ma...@gmail.com>:
--
小和田 香
Mail：kaori...@gmail.com
携帯：090-8804-3201(iPhone)