InfiniBand mini Hackathon[03]の募集開始

92 views
Skip to first unread message

Danna

unread,
Jun 13, 2013, 10:10:59 AM6/13/13
to ibh...@googlegroups.com
皆様

お久しぶりです、
dannnaです。

次回は座学と言っていたのですが、
なかなか調整がつかなくて申し訳ありません。
ということで次もいつものハンズオンになりました。

日時:2013年7月20日(土) 13時~

募集サイト:
http://connpass.com/event/2676/

募集サイトのネタは仮です。
また、みんなでネタを出し合って出来る範囲で
楽しみましょう。

では、参加お待ちしております

gat...@gmail.com

unread,
Jul 12, 2013, 7:30:46 AM7/12/13
to ibh...@googlegroups.com
danna様

fire_0218こと菊池ともうします。
よろしくお願いします。

いまさらですが、
ESXiとInfinibandで接続したストレージ環境の用意は可能でしょうか?

そもそもインターフェースも実物見たこと無いのですが、
現場でEthernetなので、次はInfiniband使ってみたいなぁという願望があったります。
よろしくお願いします。


Danna

unread,
Jul 12, 2013, 11:17:46 AM7/12/13
to ibh...@googlegroups.com
菊池@fire_0218さん

dannaです。

> ESXiとInfinibandで接続したストレージ環境の用意は可能でしょうか?

ストレージ専用製品は用意できないですが、
サーバとHCAの台数はそれなりにあるので、
構成を組むことは可能です。

簡単でいいので、
もう少しだけ詳しい構成、ESXiのバージョンなどを
教えて頂けないでしょうか。

※ESXiとiSER関係詳しい方のコメント、サポートお待ちしてます。

Hiroyuki Sato

unread,
Jul 12, 2013, 11:53:55 AM7/12/13
to ibh...@googlegroups.com
佐藤です。

すいませんが今回は別件で参加ができません。

詳しい情報のURLをお知らせします。
iSERでなくてSRPも使えます。

@xmmsさんよろしくお願いします。_o_

2013年7月13日土曜日 Danna wakadanna....@gmail.com:
--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。




--
Hiroyuki Sato

Takayuki Kikuchi

unread,
Jul 13, 2013, 12:27:35 AM7/13/13
to ibh...@googlegroups.com
菊池@fire_0218です。
こんにちは

返信有難う御座います。

Infiniband自体勉強不足ですが、、、

確認したいことは、以下の3点です。(3つ目しかできないかも。。)
・10GbpsEthernetで組んだ構成と比較したい
・1GBpsより早いんだよねってのを確認してみたい
・そもそもInfiniband見たこと無いので触ってみたい


ハードは2台あれば助かります。
ESXi5.1ホスト用
ストレージ用(ブログ拝見するとUbuntuServerがいい?)

ハードの間はInfinibandと1Gbpsか10GbpsEthernetで接続

通信方式は
Ethernetは、iSCSIでストレージ側のHDDを読み書き
InfinibandではSRP?でストレージ側のHDDを読み書き(10Gbps以上の通信速度、早ければ早いほどいいんですが)


ESXiはゲストにWindowsOS(ディスク速度測定用でCrystalDiskMarkでも入れさせてもらえれば)
ゲストのHDDにEthernetとInfinibandのディスクを定義して
それぞれでベンチマークとってみたいです。
セットアップする途中で時間来ちゃいそうな気もしますが・・・


IP over Infiniband ってやればIPベースで簡単かなと思ったんですが、
そうすると10Gbpsしか出ないんですかね?



2013年7月13日土曜日 0時53分55秒 UTC+9 Hiroyuki Sato:
このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。




--
Hiroyuki Sato

ミルク鼻から

unread,
Jul 13, 2013, 3:24:48 AM7/13/13
to ibh...@googlegroups.com
菊池@fire_0218さま

お疲れ様です、hanakara_milk@鈴木です。

インターフェースカードの現物は当日見てもらうとして、構築等の時間と機材
的な余裕が微妙な場合は、VMware ESXiのストレージインターコネクトとして
Infinibandを利用している環境なら、私の自宅の環境を当日、現地からVPN経
由でですが、VMware vSphere Cliient上でお見せすることは可能です。

うちの環境は、SRPでは接続していませんがiSCSIでつないでいます。それから
IPoIBは・・・と言うより、Infinibandのアダプタを提供しているMellanoxの
製品は、10G Ethernetで接続するモードと40G Infinibandで接続する両方のモ
ードを有しているものが多いです。

うちは、40G Infinibandで接続していますが、通信の際に利用する符号化の関
係上、40Gと言っても理論値の実効レートは32Gになります。

Infinibandでストレージに接続した場合でも、確かに1Gよりは早くなりますが、
実際の運用では、InfinibandをIPでカプセル化することによるオーバーヘッド
、CIFS/SMBのファイルシステムによるオーバーヘッド、何よりディスクの読み
書きする速度がInfinibandの帯域を使い切ることが絶対にできないので、期待
値よりだいぶ落ちた数字しか見れないかもしれません。

@xmmsさんのBlogの環境や過去のInfiniband-hack-a-thonでもRAMディスクで試
しているので、実際の運用想定でのディスク速度というのは、実はあまり試し
てない(かつ、そんなに早いストレージを準備できない)のが現状です。

ストレージサーバ役のHDD上に作ったESXiのデータストアを作っても、結局、
最高速度はそのHDDの読み書きできる速度が上限になります。

それじゃ、ちょっと面白くないから何か他の手を考えた場合、例えば、ストレ
ージサーバ役のマシン上にRAMディスクを作り、その領域をESXiからデータス
トアとしてiSCSIなりで接続し、そこにOSを展開して速度を測定・・・とか考
えられます。

ですが、それができる程にメモリが搭載された(CrystalDiskMark等を利用す
るならWindows OSが十分に載る程のRAMディスクが必要)マシンが今回準備可
能か不明ですので、場合によっては、期待に添える環境が準備できないかも
しれませんので、申し訳御座いませんが、その点ご了承ください。




2013年7月13日 13:27 Takayuki Kikuchi <gat...@gmail.com>:
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
 
 

Takayuki Kikuchi

unread,
Jul 13, 2013, 5:37:27 AM7/13/13
to ibh...@googlegroups.com
hanakara_milk@鈴木様

菊池です。
お疲れ様です。

そうですよねぇ。
実環境だと用意するの大変ですよねぇ。
実機触れたことないので、まずは触ってみる、程度の感触でいければいいですかね。

鈴木様の環境をVPN経由でも見せていただけると助かります。
当日いろいろ教えてもらえると助かります。
よろしくお願いします。


2013年7月13日土曜日 16時24分48秒 UTC+9 @hanakara_milk:
Message has been deleted

Takayuki Kikuchi

unread,
Jul 20, 2013, 12:37:24 AM7/20/13
to ibh...@googlegroups.com
鈴木さん

場所間違えて遅れてしまいました。
環境見せてくれると言っていただいたのに申し訳ありません。

もう入れないですよね。
おとなしく帰ります。

seafay

unread,
Jul 20, 2013, 12:41:14 AM7/20/13
to ibh...@googlegroups.com
高橋です。

お待ちくださいな。

帰らなくても大丈夫だと思いますよ

iPhoneから送信

2013/07/20 13:37、Takayuki Kikuchi <gat...@gmail.com> のメッセージ:
> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>
>

Danna

unread,
Jul 20, 2013, 1:37:19 AM7/20/13
to ibh...@googlegroups.com
今どちらでしょうか?
ちょうで、システムのOSを入れ終わって、
これから始まる予定です。
多分15時くらいからスタート

神田駅などに来て頂いて
#ibhack のハッシュタグを付けて呟いて頂ければ
対応出来ます

Takayuki Kikuchi

unread,
Jul 20, 2013, 1:47:37 AM7/20/13
to ibh...@googlegroups.com
お二方のまだ行けるって話しは
地元まで帰ってから今気づきました(´Д` )
ごめんなさい。

遅刻厳禁って書いてあったので
厳しいよなぁと思いつつ意気消沈して帰っちゃいました。


もったいないことしたなぁ
次は嫁の邪魔をうまく回避して早く行くようにします。
本当に申し訳ないです。

@hanakara_milk

unread,
Jul 20, 2013, 2:12:49 AM7/20/13
to ibh...@googlegroups.com
菊池さま

お疲れ様です、鈴木です。

こちらの対応が、もたついたあげく、ご迷惑をおかけしてしまい大変申し
訳ありません。

OTTOさんの社員の方のアテンドがないと、出入り口が開けられないため
遅刻厳禁という表記をしていますが、どうしても遅れる方もいらっしゃる
ため、その都度、OTTOさんにはお手数をおかけしていますが、迎えに出
てもらっているため、そのように表記していました。

次回参加の際は、遅れる場合、予め #ibhack のハッシュタグ等で呟い
ていただければ、遅れた際にも対応可能ですので、是非、めげずにご参加
いただけますと幸いです。

この度は、大変申し訳ございませんでした。





2013年7月20日土曜日 14時47分37秒 UTC+9 Takayuki Kikuchi:

@hanakara_milk

unread,
Jul 20, 2013, 11:10:27 AM7/20/13
to ibh...@googlegroups.com
菊池さま

お疲れ様です、鈴木です。

本日、オンラインでお見せできなかったので、いくつかVMware vSphereのハイ
パーバイザ上でInfinibandを利用している際のスクリーンショットをお見せい
たします。

VMware ESXi自体にInfinibandのアダプタを挿し、VMware用のドライバをイン
ストールする作業自体は一瞬で終わります。

データストア上にドライバをアップロードし、ESXiホストにSSHログイン後、
以下のコマンドを叩くだけです。

例:
ドライバファイルを /vmfs/volume/datastore1/tmp にVMware vSphere 5.x用
の最新のドライバ(MLNX-OFED-ESX-1.8.1.0.zip)をアップロードした場合

# esxcli software vib install -d /vmfs/volume/datastore1/tmp/MLNX-OFED-ESX-1.8.1.0.zip

再起動が必要になりますが、ドライバのインストールはこれだけです。この後、
物理NICとして認識されるので、ふつうのEtherと同じように、物理NICに仮想
スイッチ及び仮想アダプタを紐付けし、IPアドレスを静的に付与し、この仮想
スイッチをvMotion及びデータ通信用に設定することで、ストレージインター
コネクトとしてのInfinibandアダプタがVMware ESXi上で利用可能になります。

うちの構成は、非常に大ざっぱですが、以下のようになります。
→IB_ESXi.pdf参照


VMware vSphere Clientから見たストレージアダプタ、Infinibandアダプタは、
スクリーンショット一番したのiSCSI Software Adapterのところ。
→ib_esx01.png参照


VMware vSphere Clientから見たストレージデバイス(データストア)MSFT
iSCSI云々とあるが、Infinibandで接続されている、Windows Server 2012上の
SSD RAIDで構成され、iSCSIで公開されているストレージ領域です。
→ib_esx02.png参照


サーバに元々付いてるオンボードのNICはvSwitch0に、Infinibandアダプタは、
vSwitch1に紐付けています。スクリーンショットの下のほう、▼物理アダプタ
には、「vmnic_ib0 40000 全二重」とあり、40000Mbpsで接続していることが
わかります。
→ib_esx03.png参照


物理アダプタで見ると、10GigEと見えますが、40Gbps(40000Mbps)で接続さ
れています。これは単なる表記情報の取得元の情報が正確に出ていないだけ
です。
→ib_esx04.png参照




Infinibandで接続と言っても、Infinbandと言う規格を利用して、iSCSIで接続
しているだけなのです。



2013年7月20日土曜日 15時12分49秒 UTC+9 @hanakara_milk:
IB_ESXi.pdf
ib_esx01.png
ib_esx02.png
ib_esx03.png
ib_esx04.png

@hanakara_milk

unread,
Jul 20, 2013, 11:41:43 AM7/20/13
to ibh...@googlegroups.com
infiniband mini hack-a-thon 03参加の皆様及び関係者の皆様

お疲れ様です、鈴木です。

infiniband mini hack-a-thon 03お疲れ様でした。また、会場をご提供いただ
いた国際産業技術株式会社さま、機材の提供を快諾していただいた株式会社ア
ルテマさま、誠にありがとうございました。

それから、今回は、鈴木のほうが多忙であったため、だんなさんに、かなり調
整をお願いしてしまいました。お忙しい中の調整等をいただき、誠にありがと
うございます。
加えて、運営のほうの対応が悪く、参加できなかった方々について、深くお詫
び申し上げます。


第1回、第2回のテーマでは、目標としていた課題に無事にゴールすることがで
きましたが、第3回となる今回は、残念ながらトラブル続きで、当初目標を達成
することができませんでした。
是非、今回のテーマについては、リベンジを果たす機会を設けたいと考えてお
りますので、今回参加の方、また参加できなかった方も含め、次回も足をお運
びいただければと思います。

また、いつも話題になる、ファイルサーバ絡みの話も再びでてきているので、
Infinibandを利用するかしないかまだ不明なのでibhackでするかどうかは、わ
かりませんが、皆様が興味の一番ありそうなネタとして、テーマが拡がればと
思います。

最後に、機材の持ち込み担当である、鈴木のほうの会場入りが遅延し、ご迷惑
をおかけいたしましたこと、深くお詫び申し上げます。


では、皆さん、また次回にお会いしましょう。



2013年6月13日木曜日 23時10分59秒 UTC+9 danna:
Message has been deleted

Takayuki Kikuchi

unread,
Jul 21, 2013, 1:07:34 AM7/21/13
to ibh...@googlegroups.com
菊池です。
お世話になります。


最初からGoogleグループに書いておけばよかったかもしれません。
ハッシュタグはつけたんですが。だれかにDM送った方が早かったかもしれません。
次はめげずに参加します。

OTTOさんを末広町駅近くのOTTOと勘違いしたのが失敗です。。。
こちらもご迷惑おかけしてすいませんでした。
しっかり確認するようにします。

2013年7月20日土曜日 15時12分49秒 UTC+9 @hanakara_milk:
Reply all
Reply to author
Forward
0 new messages