土曜日の作業

287 views
Skip to first unread message

Hiroyuki Sato

unread,
Jun 28, 2012, 12:11:01 AM6/28/12
to ibh...@googlegroups.com

佐藤です(@hiroysato)です。

参加者の皆さん土曜日よろしくお願いします。
こういうイベントは初参加なので勝手がわかりません。


土曜日のやることのたたき台を作りました。
ご意見伺いたく

これやりたいなとか、ここ足りないとか
追加いただければ幸甚です。
時間内からLusteやめようよとか
SRPは是非やりたい(知りたいとか)

まったくIBを使ったこと無い方は
どんなこと知りたいかを教えていただければ幸甚です。

知っている人だけで話をするとかなり突っ込んだ
話題に終始してしまうと思われます。

それから私HPC系の人間ではないので、MPI関連は素人です。
当日よろしくお願いします。

・OFED導入

  1, OS導入
  2, OFEDダウンロード
  3, OFEDビルド
  4, OFEDインストール
    4-1, サーバ1
    4-2, サーバ2
  5, Infiniband起動設定
  6, OpenSM自動起動設定
  7, 接続テスト(ping)
  8, パフォーマンステスト(netperf?)

・SCSTターゲット

  1, OS準備
  2, OFED・rpm導入
  3, SCSTダウンロード
  4, カーネル再構築(rebuild-rhel-kernel-rpm)
  5, scst導入
  6, ib_srpt導入
  7, scstadmin導入
  8, 設定(ここなにするか？)
    もしSRPをやるならこのあたりのチューニングについて
    相談したい。
  9, テスト

・srp イニシエータ

  1, OS準備
  2, OFED・rpm導入(srp,srpadmin)
  4, イニシエータ設定
  5, 自動マウント設定(スキップしても良い)
  6, 設定(ここなにするか？)
    もしSRPをやるならこのあたりのチューニングについて
    相談したい。
  7, テスト
  
・MPI設定

  ノード毎にする
     
  参考サイト
     
  1, OS準備
  2, MLX_OFED導入
  3, ScalableHPC導入
  4, MPIコンパイル
    % cd v1.5
    % ./autogen.sh && ./configure --prefix=$PWD/install --enable-debug --with-mxm=$MXM_HOME/install --with-openib
    % make all && make install
  5, OpenSMをどれか一台で起動
  6, MPIの設定(どんなことをすれば良いか？)
  7, MPIのテスト(なにすればよいの？)

・RDMAプログラミング

  1, OFED環境構築(kernel-ib,libibverbs-devel)
  2, rc_pingpong.c展開
  3, 改造？
  4, テスト  

・iSER
  @SRCHACKさんできればやり方さらっと教えてください。
  あとで続きを追加
  
・Luste
  だれかさらっとやり方おしえてください。        
  あとで続きを追加

・OpenIndiana
  だれかさらっとやり方おしえてください。        
  あとで続きを追加
  

SrcHackTochiro

unread,
Jun 28, 2012, 5:57:57 AM6/28/12
to ibh...@googlegroups.com, Hiroyuki Sato
佐藤さん

大川＠SRCHACK.ORGです。
出張中で確認遅くなりました。

> ・iSER
> @SRCHACKさんできればやり方さらっと教えてください。
SRP Targetだけでもいいんじゃないですかね？
僕はiSCSIに期待していない側の人なのでｗ

> 3, SCSTダウンロード
> 4, カーネル再構築(rebuild-rhel-kernel-rpm)
> 5, scst導入
> 6, ib_srpt導入
やっぱ、RPMなんですかね？
僕はマダvanilla-kernelでしかSRP Target成功した事なくて、
rpm-buildは試してたりはしますがｗ

あとイニシエータ側は、余裕があれば
ESXi構築チームのESXiから繋がるか確認取ってみたいですね。


＞@wakadannacomさん
当日現地ってインターネット繋がる環境なのでしょうか？

以上、宜しくお願い致します。
> % ./autogen.sh&& ./configure --prefix=$PWD/install --enable-debug
> --with-mxm=$MXM_HOME/install --with-openib
> % make all&& make install
> 5, OpenSMをどれか一台で起動
> 6, MPIの設定(どんなことをすれば良いか？)
> 7, MPIのテスト(なにすればよいの？)
>
> ・RDMAプログラミング
>
> 1, OFED環境構築(kernel-ib,libibverbs-devel)
> 2, rc_pingpong.c展開
> 3, 改造？
> 4, テスト
>
> ・iSER
> @SRCHACKさんできればやり方さらっと教えてください。
> あとで続きを追加
>
> ・Luste
> だれかさらっとやり方おしえてください。
> あとで続きを追加
>
> ・OpenIndiana
> だれかさらっとやり方おしえてください。
> あとで続きを追加
>


--
------------------------------------------------------
Tochiro
Mail:tochiro...@gmail.com
HP:http://www.srchack.org/
------------------------------------------------------

Danna

unread,
Jun 28, 2012, 6:56:31 AM6/28/12
to ibh...@googlegroups.com
だんな@wakadannacomです。

ちょっと設定にハマってしまってまだ仕事中なので、
１つだけ取り急ぎ連絡します

> ＞@wakadannacomさん
> 当日現地ってインターネット繋がる環境なのでしょうか？

会場貸しのインターネット環境がないので、
当日有志の方にモバイル・インターネットを提供して頂くしかありません。

ですので、
必要なRPMなりはダウンロードしてきてください。
事前準備大事（今回のようにMLを活用して頂けると助かります）

他のセクションもそうですが、念のため次は用意した方がいいと思います
・OSのisoデータ及びメディア
・ESXiは5と4 およびドライバも両方
・使いたいOFED (OFA版やMelanox版）

以上です。

Taisuke Yamada

unread,
Jun 28, 2012, 7:08:48 AM6/28/12
to ibh...@googlegroups.com
こんばんは、山田です。

モバイル回線、e-mobileを一つ持って行けます。
ただ、午前中に所用が入り、会場到着が12:30位にずれ込みそうです。
開始には間に合いますが、設営には間に合わなさそう。

#IBが即使えるUSB bootイメージ持って行きますかね…

--
山田

Hiroyuki Sato

unread,
Jun 28, 2012, 7:54:42 AM6/28/12
to ibh...@googlegroups.com
佐藤です。


あ、ネット使えないのですね。
私もまだ作業中なので、取り急ぎひつようそうなものをまとめました。
補足をお願いします。

大川さん、私はSL6.2カーネルソースにSCSTを加えたRPMを
作ったことがあります。

難しいことはなくて、
これを使えば勝手にやってくれます。スクリプト直さないとネットがないと厳しいかも..

SRPは速度が速くてよいですがMellanoxはiSERに力をいれているみたいなので、
iSERも知っておきたいと思っています。

Lustreって誰も興味なさそうですね。今回は見送りますか..


・CentOS 6.2 iso image

・Scientific Linux 6.2 iso image

・MPI

  tar.gzの場所はすぐにわかりません。

・OFED関連
  OFED-1.5.4.1.tar.gz
    
  SCST
    
    Or

    scst
    scstadmin
    srpt
    の2.2.0のソース

・iSER

  tgt?

・Mellanox OFED

  ここにあるRHEL6.2 x86_64
  
・MPI関連

  Mellanox Scalable HPC

・ESXi 5.0 IB Driver

    
・OpenIndiana

・ESXi
　ISOイメージ

・ドキュメント
  IB spec
  SRP Spec
    私が持っています。

・Lustre

    










2012年6月28日木曜日 20時08分48秒 UTC+9 Taisuke Yamada:

Hiroyuki Sato

unread,
Jun 28, 2012, 8:22:56 AM6/28/12
to ibh...@googlegroups.com
大川さん

間違っているかもしれませんが
ESXi5のIBドライバにはSRPのイニシエータないような気がします。
IPoIBしかない気が..


ESXi周りは明るくないのでどなたかフォローしていただけると幸いです。

--
佐藤



2012年6月28日木曜日 20時54分42秒 UTC+9 Hiroyuki Sato:

@hanakara_milk

unread,
Jun 28, 2012, 8:58:32 AM6/28/12
to ibh...@googlegroups.com
お疲れ様です、hanakara_milkこと鈴木です。

一昨日、ESXi5にOFEDドライバいれましたが、SRPイニシエーターはない
ようで、ESXi5向けのファーストリリースOFEDドライバではIPoIBのみの
ようです。

ESXi5の組み込まれるドライバは

- mlx4_core (ConnectX family low-level PCI driver)
- mlx4_ib (ConnectX family InfiniBand driver)
- ib_core
- ib_sa
- ib_mad
- ib_umad
- ib_ipoib

のみとなっています。

あとうちの環境では、ESXi4に比べシーケンシャル及びランダムともに、
IPoIB環境で100MB/s程度、パフォーマンスがダウンしてしまいました。

ESXi4では、私は使えてませんでしたが、SRPのドライバがあったと記
憶してます。。。


2012年6月28日木曜日 21時22分56秒 UTC+9 Hiroyuki Sato:

@hanakara_milk

unread,
Jun 28, 2012, 9:10:43 AM6/28/12
to ibh...@googlegroups.com
お疲れ様です、@hanakara_milkこと鈴木です。

ご存じかもしれませんが、CentOS 6.2とSCST 2.2.0でSRP Targetを
作成する手順を公開している方がいます。私はLinuxのド素人なので、
あー、なんとなく作れるんだなくらいしかわかりませんが、参考までに
http://sonicostech.wordpress.com/2012/02/23/howto-infiniband-srp-target-on-centos-6-incl-rpm-spec/#scstinstall

追伸：
それから、ハードウェア機器のほかにソフトウェア(特にISO等の大きな
ファイル)についても、佐藤さまがML中で少しまとめてくれていますが、
必要なものをもう少し詳細に書き出してリスト化したほういいでしょー
かね？モバイルルータ等では、ダウンロードしきれないと思うので・・・

ESXi4とESXi5のISO、VMware用のOFEDドライバ(ESXi4とESXi5用)に
ついては私のほうで準備できます。



2012年6月28日木曜日 20時54分42秒 UTC+9 Hiroyuki Sato:
佐藤です。

Danna

unread,
Jun 28, 2012, 9:47:34 AM6/28/12
to ibh...@googlegroups.com
だんな＠wakadannacomです。

MPI関連補足します。
以下は、私の方で準備します。

1)念のためOS：CnetOS 6.2 x86_64(DVD1,2)
　PXEブートできるサーバを手元に作っておくつもりです

2)MPIはOFED内のものを使用しようと思いますが、
　念のためsourceも持って行きます。

2-1) OpenMPI v1.6.2 と 1.5.5のtar.gz
http://www.open-mpi.org/software/ompi/v1.6/
http://www.open-mpi.org/software/ompi/v1.5/

※何時の間にやら最新が1.6になっておりました。
※tarballはsubversionでは上がっていないみたいです。

2-2) MVAPICH 1 & 2
http://mvapich.cse.ohio-state.edu/index.shtml

※MPICH 1 & 2 のInfiniband対応版

2-3) Non-Commercial版のIntel Composer XE (旧名称Intel Compiler）

http://software.intel.com/en-us/articles/non-commercial-software-development/

※OFED内のテストプログラムにICC用のものがあったと思うので、
　念のため

3) OFED関連
・OFA版 OFED-1.5.4.1.tar.gz
・Mellanox版 OFED (RHEL 6.2 x86_64)

4) Mellanox Scalable HPC
このProdactは使用したことがないので良くわかりませんが、
僕の方でもソースだけは手に入れます。
SHMEMってScaleMP社のvSMPみたいなものですかね。
あとUPC(Unified Parallel C)もさわったことはありません。

(コメント)
MPI周りはOFEDに入っているテストプログラムを弄るで
手いっぱいな気がします。

以上です

Daichi OBINATA

unread,
Jun 28, 2012, 11:07:08 AM6/28/12
to ibh...@googlegroups.com, Daichi OBINATA
おびなたといいます。
MPIのセッションに参加します。

せっかくIBでMPI環境を構築するので、最終的にはベンチマークが
とれるといいかなと考えています。ひとまず
- Intel MPI Benchmarks
- HPC Challenge
あたりは用意していきます。

時間内にそこまで進められるかは、わかりませんが・・・

Danna

unread,
Jun 28, 2012, 1:30:41 PM6/28/12
to ibh...@googlegroups.com
だんな@wakadannacomです。

当日、いろいろ機材を提供頂いてる鈴木@hanakara_milkさんと
ピックアップして会場に向かいますが、
搬入口が使えないため会場近くのコインパーキングからの
ピストン搬入作業になります。
１１時くらいからどなたか手伝ってください。

＃おびなたさん
入門＆MPIセクションは古いシステム構成なので、
ベンチ性能は期待できないかも。
今回は手法を覚えるとか調べるが出来ればと。
あとは別セクションのシステムが比較的最新なので、
そちらにでも試すといいかもしれません。


＃山田さん
　RDMAプログラミングですがCentOS & OFED以外に
事前準備、用意が必要ものってありますか？


＃佐藤さん
　当日のやることや持ち物の呼びかけありがとうございます。
個人的にバタバタしてたので助かりました。
OpenIndianaですが、準備はしていこうと思いますが、
これも思いのほかやるのは厳しいかもしれませんね

以上です

Hiroyuki Sato

unread,
Jun 28, 2012, 11:00:40 PM6/28/12
to ibh...@googlegroups.com
佐藤です。

事前準備のリストを更新しました。

皆さんが書いたのをまとめただけです。

・CentOS 6.2 iso image
  だんなさんがPXEブート環境を用意してくださる。
  
・Scientific Linux 6.2 iso image
  CentOSで代用とする(仮)
   
・OFED関連
  OFED-1.5.4.1.tar.gz
    
・SRP(SCST)
  MVAPICH 1 & 2 

    ※MPICH 1 & 2 のInfiniband対応版 


  Non-Commercial版のIntel Composer XE (旧名称Intel Compiler） 
  

    ※OFED内のテストプログラムにICC用のものがあったと思うので、 
  　念のため 

  パフォーマンスツール 
     - Intel MPI Benchmarks 
     - HPC Challenge 

・ESXi 5.0 IB Driver

    
・OpenIndiana

・ESXi4&5
　ISOイメージ

    @hanakara_milkさんが持ってきてくださる
    ESXi4とESXi5のISO、VMware用のOFEDドライバ(ESXi4とESXi5用)に

・ドキュメント
  IB spec
  SRP Spec
    私が持っています。

・Lustre
  興味のあるかたがいらしゃらなそうなのでパス

  

SrcHackTochiro

unread,
Jun 29, 2012, 5:16:45 AM6/29/12
to ibh...@googlegroups.com
大川＠SRCHACK.ORGです。

ESXi5では使えないとは。。。
> ESXi4では、私は使えてませんでしたが、SRPのドライバがあったと記
> 憶してます。。。
ESXi4では、SRP Target作った時に接続していたので、大丈夫な筈ですね。

＞佐藤さん
>>>
http://scst.svn.sourceforge.net/viewvc/scst/trunk/scripts/rebuild-rhel-kernel-rpm?view=log
>>> これを使えば勝手にやってくれます。スクリプト直さないとネットがない
と厳しいかも..
恥ずかしながら、これは利用してませんでした。
後で中身見て、オフラインで使えるか確認とってみます。

Hiroyuki Sato

unread,
Jun 29, 2012, 8:29:52 AM6/29/12
to ibh...@googlegroups.com
だんなさん


Download MXM
Install MXM

Download OpenMPI

% cd $OMPI_HOME
% ./configure --with-mxm=/opt/mellanox/mxm <... other configure parameters...>

で

mpirun -mca mtl_mxm_np 0 <...other mpirun parameters ...>

だけみたいです。

時間があれば？、チャレンジ？


2012年6月29日金曜日 2時30分41秒 UTC+9 danna:

Koutarou Furukawa

unread,
Jun 29, 2012, 8:39:06 AM6/29/12
to ibh...@googlegroups.com
古川@mogmodです。

> 当日、いろいろ機材を提供頂いてる鈴木@hanakara_milkさんと
> ピックアップして会場に向かいますが、
> 搬入口が使えないため会場近くのコインパーキングからの
> ピストン搬入作業になります。
> １１時くらいからどなたか手伝ってください。
了解しました。会場に11時前に入っていればいいでしょうか？

よろしくお願いいたします。

2012/6/29 Danna <wakadanna....@gmail.com>:

Hiroyuki Sato

unread,
Jun 29, 2012, 9:31:47 AM6/29/12
to ibh...@googlegroups.com
佐藤です。

少し更新しました。
あくまで案なので、当日の進行は幹事の方に従います。


1, できれば事前準備

  ・CentOS 6.2用のOFED-1.5.4.3 RPM install --allまたは--hpcを作っておく
  ・MLX_OFEDのCentOS版を作っておく

2, 当日準備作業

  1, PXEブートの環境を用意
  2, CentOSがkickstart インストールできる環境を用意
  3, PXEブート環境
  4, 参加者のPCをネットワーク接続する。
  5, マシン割り振り
  6, カード取り付け
  7, ケーブル取り付け
  8, KVM取り付け
  
3, ネットワーク (案)

  ネットワーク : 10.10.10.0/24
  足りなかったら/23
  
  パッケージディレクトリ
  
  DHCPを使わない場合のネットワーク構成
  
  共通利用       10.10.10.1  ~  10.10.10.20
  チーム1        10.10.10.21  ~  10.10.10.40
  チーム2        10.10.10.41  ~  10.10.10.60
  チーム3        10.10.10.61  ~  10.10.10.80
  チーム4        10.10.10.81  ~  10.10.10.100
  danna          10.10.10.101  ~  10.10.10.105
  kentosho       10.10.10.106  ~  10.10.10.110
  SRCHACK        10.10.10.111  ~  10.10.10.115
  imksoo         10.10.10.116  ~  10.10.10.120
  qryuu          10.10.10.121  ~  10.10.10.125
  kazubu         10.10.10.126  ~  10.10.10.130
  masahide       10.10.10.131  ~  10.10.10.135
  hiroysato      10.10.10.136  ~  10.10.10.140
  tyamadajp      10.10.10.141  ~  10.10.10.145
  hanakara_milk  10.10.10.146  ~  10.10.10.150
  densuke        10.10.10.151  ~  10.10.10.155
  g_yotuya       10.10.10.156  ~  10.10.10.160
  kanedaq        10.10.10.161  ~  10.10.10.165
  ken_merry      10.10.10.166  ~  10.10.10.170
  mogmod         10.10.10.171  ~  10.10.10.175
  s-miyaza       10.10.10.176  ~  10.10.10.180
  moris          10.10.10.181  ~  10.10.10.185
  tadkinos       10.10.10.186  ~  10.10.10.190
  unico          10.10.10.191  ~  10.10.10.195
  earth2001y     10.10.10.196  ~  10.10.10.200
  rakuda2020     10.10.10.201  ~  10.10.10.205
  nanaseg        10.10.10.206  ~  10.10.10.210
  northis        10.10.10.211  ~  10.10.10.215
  banana_bbcurve 10.10.10.216  ~  10.10.10.220
  toshi__ya      10.10.10.221  ~  10.10.10.225
  gogotea3       10.10.10.226  ~  10.10.10.230
  minelowl       10.10.10.231  ~  10.10.10.235
  xmms           10.10.10.236  ~  10.10.10.240
  shunsuke_kita  10.10.10.241  ~  10.10.10.245  
  
4, ハッカソン : OFEDチーム

  1, サーバにCentOSを導入する。
  2, OFEDをダウンロードする。
  3, OFEDを展開しコンパイルする
    3-1, サーバ1
    3-2, サーバ2
  4, Infinibandの起動設定をする。
  5, OpenSMの自動起動設定をする。
      (あるいは手動起動)
  6, IBoIBの設定をする
  7, 接続テストping,ib_read_bw,
  8, パフォーマンステスト？

5, ハッカソン : SCSTターゲット

  1, サーバにCentOSを導入する。
    案1: 2パーティション
      OS領域・ターゲーット領域
    案2: 
      OS領域・ターゲットはイメージファイル
  2, OFEDバイナリを導入
  2, SCSTのダウンロード
  3, カーネル再構築(rebuild-rhel-kernel-rpm)
  4, カーネルの入れ替え
  5, リブート
  6, scst導入
  7, ib_srpt導入
  8, scstadmin導入
  9, /etc/scst.confの設定
  10, ターゲット完成
  11, SCSTイニシエータと接続
  
6, ハッカソン : SCSTターゲット(イニシエータチーム)

  1, サーバにCentOSを導入する。
  2, OFEDバイナリを導入
  3, SRPの設定
  4, イニシエータ完成

7, ハッカソン : MPI (OFED版)

  1, サーバにCentOSを導入する。
  2, OFEDバイナリを導入(HPC)
  3, MPIの設定
  4, MPIのテスト

8, ハッカソン : MPI (MLX_OFED版)

  1, サーバにCentOSを導入する。
  2, MLNX_OFEDを導入
  3, MXMを導入
  4, OpenMPI 1.6をダウンロード
  5, OpenMPIをコンパイル
    % ./configure --with-mxm=/opt/mellanox/mxm <... other configure parameters...>
  6, MPIの設定
  7, MPIのテスト
  
  OFED版と、どれぐらい速いの？
  
9, ハッカソン : RDMAプログラミング

  1, OFED環境構築(kernel-ib,libibverbs-devel)
  2, rc_pingpong.c展開
  3, 改造？
  4, テスト  

10, ハッカソン : ESXi4 環境 iSCSIターゲット

  1, サーバにCentOSを導入する。
  2, OFEDバイナリを導入
  3, Infinibandの起動設定をする。
  4, OpenSMの自動起動設定をする。
      (あるいは手動起動)
  5, IBoIBの設定をする
  6, iSCSIターゲットの設定

11, ハッカソン : ESXi4 環境 

  1, ESXiをサーバに導入
  2, IBのドライバを導入
  3, 仮想サーバを構築
  4, iSCSIイニシエータ設定
  5, iSCSIターゲットと接続

12, OpenIndiana

13, ハッカソン : iSER

14, ハッカソン : Lustre

  興味のある人がいなそうなので、パス
  

15, 発表 & クロージング

16, 片付け

Danna

unread,
Jun 29, 2012, 11:25:09 AM6/29/12
to ibh...@googlegroups.com
だんな@wakadannacomです

明日の持ち物で１つ忘れていました。

どなたかイベント等でつかう安い吊り下げ名札を
調達してきて頂けないでしょうか。

http://www.cocodecow.com/coco/gi/820089/?source=googleps

大体、50枚で2千円くらいまでお願いしたいのですが

よろしくお願い致します。

Danna

unread,
Jun 29, 2012, 11:35:13 AM6/29/12
to ibh...@googlegroups.com
古川@mogmodさん
＋各位へ

> 了解しました。会場に11時前に入っていればいいでしょうか？
はい、OKです。
到着したらハッシュタグ #自宅ラック勉強会 #ibhack でつぶやけば
誰かしら反応できると思います。

一番近そうな“タイムズ南青山第３６”にしたいのですが、
http://times-info.net/map/parkdetails/BUK0016056.html

恐らく最大料金が決まっている“タイムズＴＮＳ外苑前駐車場”
になるとお思います
http://times-info.net/map/parkdetails/BUK0021216.html

荷降ろし搬入の手伝いよろしくお願い致します。

rakuda2020

unread,
Jun 29, 2012, 10:27:17 PM6/29/12
to ibh...@googlegroups.com
@rakuda2020 山崎と申します。
本日はどうぞよろしくお願い申し上げます。

安い名札入れをとりあえず30個買えましたので、持参します。

Danna

unread,
Jul 1, 2012, 12:21:43 PM7/1/12
to ibh...@googlegroups.com
山崎@rakuda2020さん

だんな＠wakadannacomです。
土曜日はどうもありがとうございました。

名札入れの代金をお支払いしたいと考えております。
つきましては、TwitterID @rakuda2020 のフォロー許可と
一時的で構いませんので私のアカウントのフォローを
お願いたします。
ＤＭにて、私個人の連絡先をお伝えさせて頂きます。

お手数を掛けますが
よろしくお願い致します。
Reply all
Reply to author
Forward
0 new messages