InfiniBand mini Hackathon[03]の募集開始

[Danna]

皆様

お久しぶりです、
dannnaです。

次回は座学と言っていたのですが、
なかなか調整がつかなくて申し訳ありません。
ということで次もいつものハンズオンになりました。

日時：2013年7月20日（土）　13時～

募集サイト：
http://connpass.com/event/2676/

募集サイトのネタは仮です。
また、みんなでネタを出し合って出来る範囲で
楽しみましょう。

では、参加お待ちしております

[gat...@gmail.com]

danna様

fire_0218こと菊池ともうします。

よろしくお願いします。

いまさらですが、

ESXiとInfinibandで接続したストレージ環境の用意は可能でしょうか？

そもそもインターフェースも実物見たこと無いのですが、

現場でEthernetなので、次はInfiniband使ってみたいなぁという願望があったります。

よろしくお願いします。

[Danna]

菊池@fire_0218さん

dannaです。

> ESXiとInfinibandで接続したストレージ環境の用意は可能でしょうか？

ストレージ専用製品は用意できないですが、
サーバとHCAの台数はそれなりにあるので、
構成を組むことは可能です。

簡単でいいので、
もう少しだけ詳しい構成、ESXiのバージョンなどを
教えて頂けないでしょうか。

※ESXiとiSER関係詳しい方のコメント、サポートお待ちしてます。

[Hiroyuki Sato]

佐藤です。

すいませんが今回は別件で参加ができません。

詳しい情報のURLをお知らせします。

http://xmms.jp/blog/

iSERでなくてSRPも使えます。

@xmmsさんよろしくお願いします。_o_

2013年7月13日土曜日 Danna wakadanna....@gmail.com:

--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。

--
Hiroyuki Sato

[Takayuki Kikuchi]

菊池@fire_0218です。

こんにちは

返信有難う御座います。

Infiniband自体勉強不足ですが、、、

確認したいことは、以下の3点です。（3つ目しかできないかも。。）

・１０GbpsEthernetで組んだ構成と比較したい

・1GBpsより早いんだよねってのを確認してみたい

・そもそもInfiniband見たこと無いので触ってみたい

ハードは2台あれば助かります。

ESXi5.1ホスト用

ストレージ用（ブログ拝見するとUbuntuServerがいい？）

ハードの間はInfinibandと１Gbpsか10GbpsEthernetで接続

通信方式は

Ethernetは、iSCSIでストレージ側のHDDを読み書き

InfinibandではSRP？でストレージ側のHDDを読み書き（10Gbps以上の通信速度、早ければ早いほどいいんですが）

ESXｉはゲストにWindowsOS（ディスク速度測定用でCrystalDiskMarkでも入れさせてもらえれば）

ゲストのHDDにEthernetとInfinibandのディスクを定義して

それぞれでベンチマークとってみたいです。

セットアップする途中で時間来ちゃいそうな気もしますが・・・

IP over Infiniband ってやればIPベースで簡単かなと思ったんですが、

そうすると10Gbpsしか出ないんですかね？

2013年7月13日土曜日 0時53分55秒 UTC+9 Hiroyuki Sato:

このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。

--
Hiroyuki Sato

[ミルク鼻から]

菊池@fire_0218さま

お疲れ様です、hanakara_milk@鈴木です。

インターフェースカードの現物は当日見てもらうとして、構築等の時間と機材
的な余裕が微妙な場合は、VMware ESXiのストレージインターコネクトとして
Infinibandを利用している環境なら、私の自宅の環境を当日、現地からVPN経
由でですが、VMware vSphere Cliient上でお見せすることは可能です。

うちの環境は、SRPでは接続していませんがiSCSIでつないでいます。それから
IPoIBは・・・と言うより、Infinibandのアダプタを提供しているMellanoxの
製品は、10G Ethernetで接続するモードと40G Infinibandで接続する両方のモ
ードを有しているものが多いです。

うちは、40G Infinibandで接続していますが、通信の際に利用する符号化の関
係上、40Gと言っても理論値の実効レートは32Gになります。

Infinibandでストレージに接続した場合でも、確かに1Gよりは早くなりますが、
実際の運用では、InfinibandをIPでカプセル化することによるオーバーヘッド
、CIFS/SMBのファイルシステムによるオーバーヘッド、何よりディスクの読み
書きする速度がInfinibandの帯域を使い切ることが絶対にできないので、期待
値よりだいぶ落ちた数字しか見れないかもしれません。

@xmmsさんのBlogの環境や過去のInfiniband-hack-a-thonでもRAMディスクで試
しているので、実際の運用想定でのディスク速度というのは、実はあまり試し
てない(かつ、そんなに早いストレージを準備できない)のが現状です。

ストレージサーバ役のHDD上に作ったESXiのデータストアを作っても、結局、
最高速度はそのHDDの読み書きできる速度が上限になります。

それじゃ、ちょっと面白くないから何か他の手を考えた場合、例えば、ストレ
ージサーバ役のマシン上にRAMディスクを作り、その領域をESXiからデータス
トアとしてiSCSIなりで接続し、そこにOSを展開して速度を測定・・・とか考
えられます。

ですが、それができる程にメモリが搭載された（CrystalDiskMark等を利用す
るならWindows OSが十分に載る程のRAMディスクが必要）マシンが今回準備可
能か不明ですので、場合によっては、期待に添える環境が準備できないかも
しれませんので、申し訳御座いませんが、その点ご了承ください。

2013年7月13日 13:27 Takayuki Kikuchi <gat...@gmail.com>:

このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
 
 

[Takayuki Kikuchi]

hanakara_milk@鈴木様

菊池です。

お疲れ様です。

そうですよねぇ。

実環境だと用意するの大変ですよねぇ。

実機触れたことないので、まずは触ってみる、程度の感触でいければいいですかね。

鈴木様の環境をVPN経由でも見せていただけると助かります。

当日いろいろ教えてもらえると助かります。

よろしくお願いします。

2013年7月13日土曜日 16時24分48秒 UTC+9 @hanakara_milk:

[Takayuki Kikuchi]

鈴木さん

場所間違えて遅れてしまいました。
環境見せてくれると言っていただいたのに申し訳ありません。

もう入れないですよね。
おとなしく帰ります。

[seafay]

高橋です。

お待ちくださいな。

帰らなくても大丈夫だと思いますよ

iPhoneから送信

2013/07/20 13:37、Takayuki Kikuchi <gat...@gmail.com> のメッセージ:

> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。

> このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>
>

[Danna]

今どちらでしょうか？
ちょうで、システムのOSを入れ終わって、
これから始まる予定です。
多分15時くらいからスタート

神田駅などに来て頂いて
#ibhack　のハッシュタグを付けて呟いて頂ければ
対応出来ます

[Takayuki Kikuchi]

お二方のまだ行けるって話しは
地元まで帰ってから今気づきました(´Д` )
ごめんなさい。

遅刻厳禁って書いてあったので
厳しいよなぁと思いつつ意気消沈して帰っちゃいました。

もったいないことしたなぁ
次は嫁の邪魔をうまく回避して早く行くようにします。
本当に申し訳ないです。

[@hanakara_milk]

菊池さま

お疲れ様です、鈴木です。

こちらの対応が、もたついたあげく、ご迷惑をおかけしてしまい大変申し
訳ありません。

OTTOさんの社員の方のアテンドがないと、出入り口が開けられないため
遅刻厳禁という表記をしていますが、どうしても遅れる方もいらっしゃる
ため、その都度、OTTOさんにはお手数をおかけしていますが、迎えに出
てもらっているため、そのように表記していました。

次回参加の際は、遅れる場合、予め　#ibhack　のハッシュタグ等で呟い
ていただければ、遅れた際にも対応可能ですので、是非、めげずにご参加
いただけますと幸いです。

この度は、大変申し訳ございませんでした。





2013年7月20日土曜日 14時47分37秒 UTC+9 Takayuki Kikuchi:

[@hanakara_milk]

菊池さま

お疲れ様です、鈴木です。

本日、オンラインでお見せできなかったので、いくつかVMware vSphereのハイ
パーバイザ上でInfinibandを利用している際のスクリーンショットをお見せい
たします。

VMware ESXi自体にInfinibandのアダプタを挿し、VMware用のドライバをイン
ストールする作業自体は一瞬で終わります。

データストア上にドライバをアップロードし、ESXiホストにSSHログイン後、
以下のコマンドを叩くだけです。

例：
ドライバファイルを /vmfs/volume/datastore1/tmp にVMware vSphere 5.x用
の最新のドライバ（MLNX-OFED-ESX-1.8.1.0.zip）をアップロードした場合

# esxcli software vib install -d /vmfs/volume/datastore1/tmp/MLNX-OFED-ESX-1.8.1.0.zip

再起動が必要になりますが、ドライバのインストールはこれだけです。この後、
物理NICとして認識されるので、ふつうのEtherと同じように、物理NICに仮想
スイッチ及び仮想アダプタを紐付けし、IPアドレスを静的に付与し、この仮想
スイッチをvMotion及びデータ通信用に設定することで、ストレージインター
コネクトとしてのInfinibandアダプタがVMware ESXi上で利用可能になります。

うちの構成は、非常に大ざっぱですが、以下のようになります。
→IB_ESXi.pdf参照


VMware vSphere Clientから見たストレージアダプタ、Infinibandアダプタは、
スクリーンショット一番したのiSCSI Software Adapterのところ。
→ib_esx01.png参照


VMware vSphere Clientから見たストレージデバイス（データストア）MSFT
iSCSI云々とあるが、Infinibandで接続されている、Windows Server 2012上の
SSD RAIDで構成され、iSCSIで公開されているストレージ領域です。
→ib_esx02.png参照


サーバに元々付いてるオンボードのNICはvSwitch0に、Infinibandアダプタは、
vSwitch1に紐付けています。スクリーンショットの下のほう、▼物理アダプタ
には、「vmnic_ib0 40000 全二重」とあり、40000Mbpsで接続していることが
わかります。
→ib_esx03.png参照


物理アダプタで見ると、10GigEと見えますが、40Gbps（40000Mbps）で接続さ
れています。これは単なる表記情報の取得元の情報が正確に出ていないだけ
です。
→ib_esx04.png参照




Infinibandで接続と言っても、Infinbandと言う規格を利用して、iSCSIで接続
しているだけなのです。



2013年7月20日土曜日 15時12分49秒 UTC+9 @hanakara_milk:

[@hanakara_milk]

infiniband mini hack-a-thon 03参加の皆様及び関係者の皆様

お疲れ様です、鈴木です。

infiniband mini hack-a-thon 03お疲れ様でした。また、会場をご提供いただ
いた国際産業技術株式会社さま、機材の提供を快諾していただいた株式会社ア
ルテマさま、誠にありがとうございました。

それから、今回は、鈴木のほうが多忙であったため、だんなさんに、かなり調
整をお願いしてしまいました。お忙しい中の調整等をいただき、誠にありがと
うございます。
加えて、運営のほうの対応が悪く、参加できなかった方々について、深くお詫
び申し上げます。


第1回、第2回のテーマでは、目標としていた課題に無事にゴールすることがで
きましたが、第3回となる今回は、残念ながらトラブル続きで、当初目標を達成
することができませんでした。
是非、今回のテーマについては、リベンジを果たす機会を設けたいと考えてお
りますので、今回参加の方、また参加できなかった方も含め、次回も足をお運
びいただければと思います。

また、いつも話題になる、ファイルサーバ絡みの話も再びでてきているので、
Infinibandを利用するかしないかまだ不明なのでibhackでするかどうかは、わ
かりませんが、皆様が興味の一番ありそうなネタとして、テーマが拡がればと
思います。

最後に、機材の持ち込み担当である、鈴木のほうの会場入りが遅延し、ご迷惑
をおかけいたしましたこと、深くお詫び申し上げます。


では、皆さん、また次回にお会いしましょう。



2013年6月13日木曜日 23時10分59秒 UTC+9 danna:

[Takayuki Kikuchi]

菊池です。

お世話になります。

最初からGoogleグループに書いておけばよかったかもしれません。

ハッシュタグはつけたんですが。だれかにDM送った方が早かったかもしれません。

次はめげずに参加します。

OTTOさんを末広町駅近くのOTTOと勘違いしたのが失敗です。。。

こちらもご迷惑おかけしてすいませんでした。

しっかり確認するようにします。

2013年7月20日土曜日 15時12分49秒 UTC+9 @hanakara_milk: