From: pandazx <pandaz...@gmail.com>
Date: Tue, 23 Oct 2012 01:02:06 -0700 (PDT)
Local: Tues, Oct 23 2012 4:02 am
Subject: Re: RCfileの圧縮とsplit
ご回答ありがとうございます。pandazxです。
環境の説明が不十分でした。説明させていただきます。
テーブル定義は以下のようになります。
実行したクエリは以下のようになります。
set mapred.max.split.size=16000000;(圧縮後のファイルサイズが32MB以下だったので、16MBに変更)
map数が1で実行された。
以下のサイトによると、RCFileの一定の行の範囲というのは
これを小さくして、RCFileが複数できて、map数が2以上になるのを確認したいと思います。
You must Sign in before you can post messages.
To post a message you must first join this group.
Please update your nickname on the subscription settings page before posting.
You do not have the permission required to post.
| ||||||||||||||