マスタデータをあらかじめHDFSに配置する方法について

[ペガス]

お世話になっております、ぺガスです。

お久しぶりに質問をさせて頂きますが、マスタデータを予めHDFSに置いて、

バッチ処理することができるのかを教えて頂けないでしょうか。

現状ではWindgateを使ってマスタデータをHDFS上にロードさせてからジョブを実行していますが、

これを事前にHDFS上に配置することでロード時間分だけジョブを短縮することが可能なのでないかと考えています。

以上、ご確認の程よろしくお願い致します。

[古山慎悟]

ぺガスさん、

バッチ実行時点においてHDFSやS3に配置されているデータを読み出すにはDirect I/Oが使用できます。

Direct I/Oの機能は下記のリンクを参照してください。

http://asakusafw.s3.amazonaws.com/documents/latest/release/ja/html/directio/index.html

なお、アプリケーションのうち元データソースからHDFSにデータを配置する部分については、

基本的に、Asakusa以外のツール等で実装する必要があります。

古山

2013年3月18日 9:38 ペガス <kaido...@gmail.com>:

--
このメールは Google グループのグループ「Asakusa Frameworkメーリングリスト」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、users+un...@asakusafw.com にメールを送信します。
このグループに投稿するには、us...@asakusafw.com にメールを送信してください。
http://groups.google.com/a/asakusafw.com/group/users/?hl=ja からこのグループにアクセスしてください。
その他のオプションについては、https://groups.google.com/a/asakusafw.com/groups/opt_out にアクセスしてください。
 
 

[竹内佑介]

古山さん

お世話になっております、ぺガスです。

教えて頂いたリンクを拝見いたしました。
どうやら、AsakusaFrameworkにはHDFSを直接利用する機能があるようですね。
基本的なことを質問してしまい、申し訳ありませんでした。

以上、ご確認の程よろしくお願い致します。

2013年3月18日 19:01 古山慎悟 <furu...@nautilus-technologies.com>:

--
*********************************************
電気通信大学情報システム学研究科
社会知能情報学専攻２年
竹内　佑介（たけうち　ゆうすけ）
e-mail：kaido...@gmail.com
*********************************************