infiniband mini hack-a-thon 03の情報共有
519 views
Skip to first unread message
@hanakara_milk
Jul 20, 2013, 11:30:00 AM7/20/13
to ibh...@googlegroups.com
佐藤さま
お疲れ様です、鈴木です。
本日、infiniband mini hack-a-thon 03の情報共有ですが、結論から申します
と、Windows班、Linux班共に何も成果を出せずに終了することになります。
●Linux班
一番無難なCentOS 6とOFED1.5のドライバインストール、RPMビルドに失敗し、
トラブルシュートが終わらず時間切れとなり、OpenSMの挙動に関する検証は、
一切できませんでした。
●Windows班
予定していたWindows Server 2012 R2のHyper-VにおけるLiveMigration over
RDMAは、わたしの自宅での事前検証どおり、構築方法が分からず、インスト
ールのみで終了しました。あと、R2では、OpenSMの登録及び起動に問題が生じ、
最終的にはOpenSMは起動したものの、そこで時間切れとなりました。
--------------------------------------
唯一の成果としては、Windows上で起動したOpenSMによる、Windows及びLinux
のIPoIBでの相互接続（pingレベルですが・・・）の確認ができました。
WindowsとLinuxでのib_read_bwの実施は、エラーが生じて実施することができ
ませんでした。どうやら、Windowsのib_read_bwのバージョンが2.0、Linuxの
ib_read_bwのバージョンが1.0と、バージョンの違による問題と、その時点で
は、仮説を立てていますが、その検証も時間切れでできませんでした。
Linux班のトラブルについては、だんなのほうからフォローアップをお願いい
たします。
Windows側のOpenSM、別のトラブルが発生しなかったLinux上にインストールし
たOpenSM、両方を建てて、恐らくマスターであったWindows側のOpenSMを落と
して、引き続き通信可能かどうかも確認したかったのですが、こちらも時間
切れ（と言うか、Windows側のOpenSMを落としたモノの、マスターに昇格した
であろう、Linux側のOpenSMでのポーリング及びトポロジの再計算の間隔がわ
からなかっため）、詳しい確認ができませんでした。
次回のibhackは、今回のリベンジか、佐藤さん講師によるOpenSM概論あたりが
いいかな？なんて話してましたが、まだ未定です。
以上、よろしくお願いいたします。
お疲れ様です、鈴木です。
本日、infiniband mini hack-a-thon 03の情報共有ですが、結論から申します
と、Windows班、Linux班共に何も成果を出せずに終了することになります。
●Linux班
一番無難なCentOS 6とOFED1.5のドライバインストール、RPMビルドに失敗し、
トラブルシュートが終わらず時間切れとなり、OpenSMの挙動に関する検証は、
一切できませんでした。
●Windows班
予定していたWindows Server 2012 R2のHyper-VにおけるLiveMigration over
RDMAは、わたしの自宅での事前検証どおり、構築方法が分からず、インスト
ールのみで終了しました。あと、R2では、OpenSMの登録及び起動に問題が生じ、
最終的にはOpenSMは起動したものの、そこで時間切れとなりました。
--------------------------------------
唯一の成果としては、Windows上で起動したOpenSMによる、Windows及びLinux
のIPoIBでの相互接続（pingレベルですが・・・）の確認ができました。
WindowsとLinuxでのib_read_bwの実施は、エラーが生じて実施することができ
ませんでした。どうやら、Windowsのib_read_bwのバージョンが2.0、Linuxの
ib_read_bwのバージョンが1.0と、バージョンの違による問題と、その時点で
は、仮説を立てていますが、その検証も時間切れでできませんでした。
Linux班のトラブルについては、だんなのほうからフォローアップをお願いい
たします。
Windows側のOpenSM、別のトラブルが発生しなかったLinux上にインストールし
たOpenSM、両方を建てて、恐らくマスターであったWindows側のOpenSMを落と
して、引き続き通信可能かどうかも確認したかったのですが、こちらも時間
切れ（と言うか、Windows側のOpenSMを落としたモノの、マスターに昇格した
であろう、Linux側のOpenSMでのポーリング及びトポロジの再計算の間隔がわ
からなかっため）、詳しい確認ができませんでした。
次回のibhackは、今回のリベンジか、佐藤さん講師によるOpenSM概論あたりが
いいかな？なんて話してましたが、まだ未定です。
以上、よろしくお願いいたします。
Hiroyuki Sato
Jul 21, 2013, 7:41:58 AM7/21/13
to ibh...@googlegroups.com
佐藤さま
お疲れ様です、鈴木です。
本日、infiniband mini hack-a-thon 03の情報共有ですが、結論から申します
と、Windows班、Linux班共に何も成果を出せずに終了することになります。
●Linux班
一番無難なCentOS 6とOFED1.5のドライバインストール、RPMビルドに失敗し、
トラブルシュートが終わらず時間切れとなり、OpenSMの挙動に関する検証は、
一切できませんでした。
RHEL6はCentOS6をお使いですが？
最近全く触っていないので、外しているかもしれませんが
RHEL6.3ならうまくいったかもしれません。
if ($DISTRO eq "RHEL6.3") {
print IF "NM_CONTROLLED=yes\n";
print IF "TYPE=InfiniBand\n";
}
のような記述がちらほらと、
ちなみにだんなさんがつぶやいていたNFS/RDMAはOFED-3.5にまだ入っているみたいです。
# NFSRDMA
if ($kernel =~ m/^3\.5/ or $DISTRO =~ /SLES11.2|RHEL6.[23]/) {
$kernel_modules_info{'nfsrdma'}{'available'} = 1;
}
●Windows班
予定していたWindows Server 2012 R2のHyper-VにおけるLiveMigration over
RDMAは、わたしの自宅での事前検証どおり、構築方法が分からず、インスト
ールのみで終了しました。あと、R2では、OpenSMの登録及び起動に問題が生じ、
最終的にはOpenSMは起動したものの、そこで時間切れとなりました。
Windowsは不勉強でわかりません。
--------------------------------------
唯一の成果としては、Windows上で起動したOpenSMによる、Windows及びLinux
のIPoIBでの相互接続（pingレベルですが・・・）の確認ができました。
WindowsとLinuxでのib_read_bwの実施は、エラーが生じて実施することができ
ませんでした。どうやら、Windowsのib_read_bwのバージョンが2.0、Linuxの
ib_read_bwのバージョンが1.0と、バージョンの違による問題と、その時点で
は、仮説を立てていますが、その検証も時間切れでできませんでした。
Linux側のOFEDは1.5ですか？
だとしたらご推察とおりでバージョンの不一致なのではないかと思います。
ib_read_bwは、事前にIPを使ってlidなどの情報をサーバと交換します。
この際の情報がOFEDのバージョンによって違うようです。
OFED-3.5とWinOFならうまくいったかもしれません。
下記のものを見てください。項目の数が違いますね。
Windowsの場合
struct pingpong_dest {
int lid;
int out_reads;
int qpn;
int psn;
unsigned rkey;
unsigned long long vaddr;
union ibv_gid gid;
};
OFED-1.5(Linuxの場合)
struct pingpong_dest {
int lid;
int qpn;
int psn;
unsigned rkey;
unsigned long long vaddr;
};
http://git.openfabrics.org/git?p=~shamoya/perftest.git;a=blob_plain;f=rdma_bw.c;hb=ofed_1_5
OFED-3.5(Linuxの場合)
struct pingpong_dest {
int lid;
int out_reads;
int qpn;
int psn;
unsigned rkey;
unsigned long long vaddr;
union ibv_gid gid;
};
Linux班のトラブルについては、だんなのほうからフォローアップをお願いい
たします。
Windows側のOpenSM、別のトラブルが発生しなかったLinux上にインストールし
たOpenSM、両方を建てて、恐らくマスターであったWindows側のOpenSMを落と
して、引き続き通信可能かどうかも確認したかったのですが、こちらも時間
切れ（と言うか、Windows側のOpenSMを落としたモノの、マスターに昇格した
であろう、Linux側のOpenSMでのポーリング及びトポロジの再計算の間隔がわ
からなかっため）、詳しい確認ができませんでした。
次回のibhackは、今回のリベンジか、佐藤さん講師によるOpenSM概論あたりが
いいかな？なんて話してましたが、まだ未定です。
私よりもお詳しい方がいらっしゃるので是非私は教わる側ににいたいのですが..(笑)
今後ともよろしくお願いします。
以上、よろしくお願いいたします。
--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Hiroyuki Sato
Hiroyuki Sato
Jul 21, 2013, 7:43:31 AM7/21/13
to ibh...@googlegroups.com
佐藤です。
補足です。
RHEL6.4だとだめで、RHEL6.3だとうまくいったかもという意味です。
●Linux班
一番無難なCentOS 6とOFED1.5のドライバインストール、RPMビルドに失敗し、
トラブルシュートが終わらず時間切れとなり、OpenSMの挙動に関する検証は、
一切できませんでした。
RHEL6はCentOS6をお使いですが？
最近全く触っていないので、外しているかもしれませんが
RHEL6.3ならうまくいったかもしれません。
Hiroyuki Sato
Hiroyuki Sato
Jul 23, 2013, 11:01:32 AM7/23/13
to ibh...@googlegroups.com
佐藤です。
--
Hiroyuki Sato
すいません。OFEDは1.5でしたね。
OFED-1.5.4.1は、SL6.1の上だと
./install.pl --basic
だ問題なくビルドできました。
SL6.4だと思っていた環境が、単純に6.1だっただけなんですが、6.4でもそのうちためしてみたいと思います。
--
Hiroyuki Sato
--
Hiroyuki Sato
@hanakara_milk
Jul 23, 2013, 11:23:39 AM7/23/13
to ibh...@googlegroups.com
先週の金曜まで、Hyper-VのLiveMigration over RDMAについては、特に参考にした資料はないです。強いて言うなら、
米国で行われたTechEDのWindows Server 2012 R2の新機能紹介を見た程度です。
あと、ConnectX3のEN、つまり10GbpsのSFP+のEtherなHCAでは、LiveMigration over RDMAができたっぽい内容が
恐らくアメリカ？のMicrosoft MVPなヒトのBlogにあったがの唯一な情報ですが、そちらにも詳しい設定方法は、記載さ
れていませんでした。また、そのBlogには、Infinibandでは試していないとも書かれていました。
http://workinghardinit.wordpress.com/2013/07/12/preliminary-results-with-live-migration-over-rdma-speed-useful-number-of-nics/
Hyper-Vでも、VMware等と同様に、物理NICをハイパーバイザー上で作成する仮想スイッチと紐付けしないと、ハイパ
ーバイザから利用できないのですが、Hyper-Vの仮想スイッチとInfiniband HCAを紐付けると、なぜか、RDMA Capable
がFalseとなり、速度も10Gbpsになってしまうところが解決できませんでした。
また、Hyper-VのLiveMigrationの設定で、LiveMigrationのモードをSMB Directを設定、利用するIPを固定でInfiniband
HCAに割り当てたIPに設定しましたが、結局RDMAでは、通信できませんでした。
TechEDでは、LiveMigration over RDMAでのMigrationの速度の差などが情報として発表されていましたが、構成や設定
方法等については、詳しく触れられていませんでした。
Infiniband mini Hack-a-thon #03の前日まで、自宅で試した限りでは、結局、RDMAは利用できませんが、Infiniband
HCA経由でLiveMigrationすると、1GbpsのEtherよりは早くMigrationできますが、速度は1Gbpsがもう少し早くなった
程度で、大きな速度向上は認められませんでした。
私の資料の探し方が悪い可能性もありますが、現時点においても、LiveMigration over RDMAの環境を構築するための
Step By Step的な資料は見つかってないです・・・
------------------------------------
ib_read_bwの件、さすがですね、ソースをちゃんと示して違うんだよと情報を提供してくれるあたり、さすが佐藤さん
です＼(^o^)／
それからポインタのあったOracleのInfinibandの資料、始めて見ましたが、結構いいですね、とても参考になりそうです、
ありがとうございます。
2013年7月24日水曜日 0時01分32秒 UTC+9 Hiroyuki Sato:
米国で行われたTechEDのWindows Server 2012 R2の新機能紹介を見た程度です。
あと、ConnectX3のEN、つまり10GbpsのSFP+のEtherなHCAでは、LiveMigration over RDMAができたっぽい内容が
恐らくアメリカ？のMicrosoft MVPなヒトのBlogにあったがの唯一な情報ですが、そちらにも詳しい設定方法は、記載さ
れていませんでした。また、そのBlogには、Infinibandでは試していないとも書かれていました。
http://workinghardinit.wordpress.com/2013/07/12/preliminary-results-with-live-migration-over-rdma-speed-useful-number-of-nics/
Hyper-Vでも、VMware等と同様に、物理NICをハイパーバイザー上で作成する仮想スイッチと紐付けしないと、ハイパ
ーバイザから利用できないのですが、Hyper-Vの仮想スイッチとInfiniband HCAを紐付けると、なぜか、RDMA Capable
がFalseとなり、速度も10Gbpsになってしまうところが解決できませんでした。
また、Hyper-VのLiveMigrationの設定で、LiveMigrationのモードをSMB Directを設定、利用するIPを固定でInfiniband
HCAに割り当てたIPに設定しましたが、結局RDMAでは、通信できませんでした。
TechEDでは、LiveMigration over RDMAでのMigrationの速度の差などが情報として発表されていましたが、構成や設定
方法等については、詳しく触れられていませんでした。
Infiniband mini Hack-a-thon #03の前日まで、自宅で試した限りでは、結局、RDMAは利用できませんが、Infiniband
HCA経由でLiveMigrationすると、1GbpsのEtherよりは早くMigrationできますが、速度は1Gbpsがもう少し早くなった
程度で、大きな速度向上は認められませんでした。
私の資料の探し方が悪い可能性もありますが、現時点においても、LiveMigration over RDMAの環境を構築するための
Step By Step的な資料は見つかってないです・・・
------------------------------------
ib_read_bwの件、さすがですね、ソースをちゃんと示して違うんだよと情報を提供してくれるあたり、さすが佐藤さん
です＼(^o^)／
それからポインタのあったOracleのInfinibandの資料、始めて見ましたが、結構いいですね、とても参考になりそうです、
ありがとうございます。
2013年7月24日水曜日 0時01分32秒 UTC+9 Hiroyuki Sato:
Hiroyuki Sato
Jul 23, 2013, 12:40:38 PM7/23/13
to ibh...@googlegroups.com
鈴木さん
ご連絡をありがとうございます。
ご紹介いただいたURLの設定ではRoCE (RDMA Over Coverage Ethernet)を使っているようですね。
つまりEthernet上でRDMAを実現するというものです。
これなんかいかがですかね。5.1あたりがポイントかと思います。
Hack-a-thonで実施済みでしょうか？
--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Hiroyuki Sato
@hanakara_milk
Jul 24, 2013, 10:49:36 AM7/24/13
to ibh...@googlegroups.com
さとうさま
お疲れ様です、鈴木です。
こちらは、WS2012んときの資料っすね、残念ながらRCoEは試したことがないで
す。RCoEに対応したNICを持ってなかったんですが、少し前にConnectX3 EN
（10G SFP+のMellanoxのNIC）を2枚入手したので、暇をみて試す予定でした。
ibhackでは、あくまでInfinibandで頑張る予定だったのでダメでしたが、成功
報告のあったMSのMVPのヒトのBlogでもRoCE通信で利用したのがConnectX3 EN
だったので、近日中にトライする予定です。
ConnectX2のENは、スイッチ等を挟まず直結だと通信できないとの話しがあっ
たのですが、ConnectX3 ENはいける？ようなので、それで試して見るつもり
です。直結がダメだった場合、10G SFP+のスイッチ買わないとムリなので、
そこで検証終了ですがｗ
こちらは、WS2012んときの資料っすね、残念ながらRCoEは試したことがないで
す。RCoEに対応したNICを持ってなかったんですが、少し前にConnectX3 EN
（10G SFP+のMellanoxのNIC）を2枚入手したので、暇をみて試す予定でした。
ibhackでは、あくまでInfinibandで頑張る予定だったのでダメでしたが、成功
報告のあったMSのMVPのヒトのBlogでもRoCE通信で利用したのがConnectX3 EN
だったので、近日中にトライする予定です。
そのための資料としては、大変参考になる資料です。ありがとうございます！
ConnectX2のENは、スイッチ等を挟まず直結だと通信できないとの話しがあっ
たのですが、ConnectX3 ENはいける？ようなので、それで試して見るつもり
です。直結がダメだった場合、10G SFP+のスイッチ買わないとムリなので、
そこで検証終了ですがｗ
2013年7月24日水曜日 1時40分38秒 UTC+9 Hiroyuki Sato:
お疲れ様です、鈴木です。
こちらは、WS2012んときの資料っすね、残念ながらRCoEは試したことがないで
す。RCoEに対応したNICを持ってなかったんですが、少し前にConnectX3 EN
（10G SFP+のMellanoxのNIC）を2枚入手したので、暇をみて試す予定でした。
ibhackでは、あくまでInfinibandで頑張る予定だったのでダメでしたが、成功
報告のあったMSのMVPのヒトのBlogでもRoCE通信で利用したのがConnectX3 EN
だったので、近日中にトライする予定です。
ConnectX2のENは、スイッチ等を挟まず直結だと通信できないとの話しがあっ
たのですが、ConnectX3 ENはいける？ようなので、それで試して見るつもり
です。直結がダメだった場合、10G SFP+のスイッチ買わないとムリなので、
そこで検証終了ですがｗ
こちらは、WS2012んときの資料っすね、残念ながらRCoEは試したことがないで
す。RCoEに対応したNICを持ってなかったんですが、少し前にConnectX3 EN
（10G SFP+のMellanoxのNIC）を2枚入手したので、暇をみて試す予定でした。
ibhackでは、あくまでInfinibandで頑張る予定だったのでダメでしたが、成功
報告のあったMSのMVPのヒトのBlogでもRoCE通信で利用したのがConnectX3 EN
だったので、近日中にトライする予定です。
そのための資料としては、大変参考になる資料です。ありがとうございます！
ConnectX2のENは、スイッチ等を挟まず直結だと通信できないとの話しがあっ
たのですが、ConnectX3 ENはいける？ようなので、それで試して見るつもり
です。直結がダメだった場合、10G SFP+のスイッチ買わないとムリなので、
そこで検証終了ですがｗ
2013年7月24日水曜日 1時40分38秒 UTC+9 Hiroyuki Sato:
このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
--
Hiroyuki Sato
Hiroyuki Sato
Jul 24, 2013, 11:36:19 AM7/24/13
to ibh...@googlegroups.com
鈴木さん
この資料の
High Peformance Live migrationの所には、Infinibandでもできるようなことが
書いてありますね。設定はわかりませんけど..是非検証をお願いします。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Hiroyuki Sato
Hiroyuki Sato
Jul 25, 2013, 10:57:31 AM7/25/13
to ibh...@googlegroups.com
鈴木さん
--
Hiroyuki Sato
ConnectX ENってダイレクトに接続できないんですか？
スイッチが特定機種じゃないとRoCEが動かないとかならわかるんですが詳しいソースがあったら教えていただけますか？
2013年7月24日水曜日 @hanakara_milk mekem...@gmail.com:
2013年7月24日水曜日 @hanakara_milk mekem...@gmail.com:
--
Hiroyuki Sato
--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
--
Hiroyuki Sato
@hanakara_milk
Jul 25, 2013, 12:03:01 PM7/25/13
to ibh...@googlegroups.com
StableのFirmだとダメみたいですね、IntermidiateのStableじゃない、一番、番号が新しいFirmならいけたとの報告が
例の語るスレにありましたｗ
Intermidiateなら行けるようになったっぽいですね。
2013年7月25日木曜日 23時57分31秒 UTC+9 Hiroyuki Sato:
例の語るスレにありましたｗ
Intermidiateなら行けるようになったっぽいですね。
2013年7月25日木曜日 23時57分31秒 UTC+9 Hiroyuki Sato:
鈴木さんConnectX ENってダイレクトに接続できないんですか？スイッチが特定機種じゃないとRoCEが動かないとかならわかるんですが詳しいソースがあったら教えていただけますか？
2013年7月24日水曜日 @hanakara_milk mekem...@gmail.com:
このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
--
Hiroyuki Sato
Hiroyuki Sato
Jul 26, 2013, 11:45:13 AM7/26/13
to ibh...@googlegroups.com
鈴木さん
--
Hiroyuki Sato
ありがとうございます。
このファームはサポートサイトにログインしてダウンロードするファームのことでしょうか？
ConnectXのEN関連のドキュメントってどこにあるかご存知ですか？
--
Hiroyuki Sato
--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
--
Hiroyuki Sato
@hanakara_milk
Jul 28, 2013, 8:00:25 AM7/28/13
to ibh...@googlegroups.com
さとうさま
お疲れ様です、鈴木です。
ファームウェアは以下のURLから拾えます、特にログイン等はする必要ないです
●Intermediate Firmware Releases Table
http://www.mellanox.com/page/custom_firmware_table
それからConnectX ENの資料ですが、とりあえず、商品ページのユーザーマニュアル等でしょうか
●ConnectX®-2 EN 10GbE Adapters with RoCE
http://www.mellanox.com/page/products_dyn?product_family=63&mtag=connectx_2_en
●ConnectX®-3 EN Single/Dual-Port 10/40/56GbE Adapters w/ PCI Express 3.0
http://www.mellanox.com/page/products_dyn?product_family=127&mtag=connectx_3_en
Intermediate Firmwareの更新は、ibhack#02で作った資料に載ってるです。
OFED2.0等のマニュアルは、ぶっちゃけ読んだことないです。と言うか、その手のマニュアルって
あるんでしょうか・・・White PaperはIBTAにはあるのかもですが・・・
2013年7月27日土曜日 0時45分13秒 UTC+9 Hiroyuki Sato:
お疲れ様です、鈴木です。
ファームウェアは以下のURLから拾えます、特にログイン等はする必要ないです
●Intermediate Firmware Releases Table
http://www.mellanox.com/page/custom_firmware_table
それからConnectX ENの資料ですが、とりあえず、商品ページのユーザーマニュアル等でしょうか
●ConnectX®-2 EN 10GbE Adapters with RoCE
http://www.mellanox.com/page/products_dyn?product_family=63&mtag=connectx_2_en
●ConnectX®-3 EN Single/Dual-Port 10/40/56GbE Adapters w/ PCI Express 3.0
http://www.mellanox.com/page/products_dyn?product_family=127&mtag=connectx_3_en
Intermediate Firmwareの更新は、ibhack#02で作った資料に載ってるです。
OFED2.0等のマニュアルは、ぶっちゃけ読んだことないです。と言うか、その手のマニュアルって
あるんでしょうか・・・White PaperはIBTAにはあるのかもですが・・・
2013年7月27日土曜日 0時45分13秒 UTC+9 Hiroyuki Sato:
鈴木さんありがとうございます。このファームはサポートサイトにログインしてダウンロードするファームのことでしょうか？ConnectXのEN関連のドキュメントってどこにあるかご存知ですか？
このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
--
Hiroyuki Sato
Hiroyuki Sato
Jul 28, 2013, 8:42:15 PM7/28/13
to ibh...@googlegroups.com
鈴木さん
ありがとうございます。
ちょっと見てみます。
ふとダイレクト接続をする際には、普通のEthernetではクロスケーブルが必要なように
直接接続をするにはクロスケーブルのようなものが必要なのかな？なんて思ったり..
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Hiroyuki Sato
@hanakara_milk
Aug 3, 2013, 2:09:00 AM8/3/13
to ibh...@googlegroups.com
さとうさん
お疲れ様です、鈴木です。
ちょい、忙しくて、今週こちらのGoogle Groupe見れてませんで、返信が遅れました。
SFP+な10GbpsのNIC同士の場合、クロスケーブルとかって言うか、ふつうのOM3なマルチモード
のファイバケーブル、たぶん8GBのFC用とかでもいけると思いますが、それとかネットワークスイ
ッチでアップリンク同士接続するためのファイバケーブルを挿せば、直結で通信できます。
ConnectX2 ENもSFP+になるので同様にOM3なファイバケーブルで動きますよー。
QDRのInfiniband HCAでも10GbpsのEtherのモードで動作させる場合は、クロスとかって考えずに
QSFPのInfinbandケーブルで直結すれば、動作すると思います～。
2013年7月29日月曜日 9時42分15秒 UTC+9 Hiroyuki Sato:
お疲れ様です、鈴木です。
ちょい、忙しくて、今週こちらのGoogle Groupe見れてませんで、返信が遅れました。
SFP+な10GbpsのNIC同士の場合、クロスケーブルとかって言うか、ふつうのOM3なマルチモード
のファイバケーブル、たぶん8GBのFC用とかでもいけると思いますが、それとかネットワークスイ
ッチでアップリンク同士接続するためのファイバケーブルを挿せば、直結で通信できます。
ConnectX2 ENもSFP+になるので同様にOM3なファイバケーブルで動きますよー。
QDRのInfiniband HCAでも10GbpsのEtherのモードで動作させる場合は、クロスとかって考えずに
QSFPのInfinbandケーブルで直結すれば、動作すると思います～。
2013年7月29日月曜日 9時42分15秒 UTC+9 Hiroyuki Sato:
Hiroyuki Sato
Aug 5, 2013, 9:47:23 AM8/5/13
to ibh...@googlegroups.com
鈴木さん。
ご連絡ありがとうございます。
ConnectX3は新しいファームウェアが出ているみたいなのでお試しください。
なお、ファームウェア更新ツールも新しくなっているみたいです。
ConnectX2だとスイッチ無しのダイレクト接続ができないという件は実際のところどうなんでしょうか？
環境が無くて妄想しかできないので、是非試した結果を教えていただければと思います。
--
Hiroyuki Sato
--
このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
@hanakara_milk
Aug 5, 2013, 3:16:44 PM8/5/13
to ibh...@googlegroups.com
お疲れ様です、hanakara_milk@鈴木です。
ConnectX3の新しいファームウェア関連の情報ありがとうございます！
それから、ConnectX3 ENは所持しているのですが、ConnectX2 ENは、私のほう
では所持していないので、試すことは難しいです。
ConnectX2 VPI、つまりInfinibandのHCAをEtherのモードで動作させることを
試すことは可能だと思われますが、残念ながら、うちのConnectX2 VPIは、す
べてのカードのファームをIntermediate版にしてしまっています。申し訳ない
のですが、ファームウェアのダウングレードのほうは危険を伴うので、それを
犯してまで冒険はしたくないというのが正直なところです。
直結で通信できないソースは、実際に試してはいませんが、2chの語るスレ及
びヤフオクでInfinibandのHCAをずーっと取り扱ってる方がいるのですが、そ
ちらの方からの情報になります。
2013年8月5日月曜日 22時47分23秒 UTC+9 Hiroyuki Sato:
ConnectX3の新しいファームウェア関連の情報ありがとうございます！
それから、ConnectX3 ENは所持しているのですが、ConnectX2 ENは、私のほう
では所持していないので、試すことは難しいです。
ConnectX2 VPI、つまりInfinibandのHCAをEtherのモードで動作させることを
試すことは可能だと思われますが、残念ながら、うちのConnectX2 VPIは、す
べてのカードのファームをIntermediate版にしてしまっています。申し訳ない
のですが、ファームウェアのダウングレードのほうは危険を伴うので、それを
犯してまで冒険はしたくないというのが正直なところです。
直結で通信できないソースは、実際に試してはいませんが、2chの語るスレ及
びヤフオクでInfinibandのHCAをずーっと取り扱ってる方がいるのですが、そ
ちらの方からの情報になります。
2013年8月5日月曜日 22時47分23秒 UTC+9 Hiroyuki Sato:
このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Hiroyuki Sato
Aug 13, 2013, 1:29:57 PM8/13/13
to ibh...@googlegroups.com
鈴木さん
佐藤です。
ご連絡をありがとうございます。
ちょっとばたばたしており返事が遅くなりました。
つまりConnectX2であれば、intermeidate版のファームを使うことで
Peer-to-Peerの通信ができるということですよね。
ものが無くて確認ができないので、まとめだけしてみました。
確認できたものはこの条件で直接接続できたということを教えていただけると幸甚です。
スイッチを利用せずに、カード二枚だけで、機器同士を直接接続できるかどうか
まとめのようなもの
1, Infinibandで接続する場合
・接続可能
・サブネットマネージャを動作させること
2, Ethernet接続の場合
(1) Connect-IB VPI Ethernet mode
・接続可能？
・ファームウェアはOfficialの最新版(Intermediateは提供されていない)
(2) ConnectX3 VPI Ethernet mode
・接続可能みたい
・ファームウェアはOfficialの最新版(Intermediateは提供されていない)
(3) ConnectX3 EN
・接続可能みたい
・ファームウェアはOfficialの最新版(Intermediateは提供されていない)
(4) ConnectX2 VPI Ethernet Mode
・ファームウェアをIntermediateにする(2.9.8350)することで接続可能
(5) ConnectX2 VPI EN
・ファームウェアをIntermediateにする(2.9.1200)することで接続可能
3, ファームウェアの入手先
http://www.mellanox.com/page/custom_firmware_table#Intermediate
2013年8月6日 4:16 @hanakara_milk <mekem...@gmail.com>:
>>>> ●ConnectX(R)-2 EN 10GbE Adapters with RoCE
>>>>
>>>> http://www.mellanox.com/page/products_dyn?product_family=63&mtag=connectx_2_en
>>>>
>>>> ●ConnectX(R)-3 EN Single/Dual-Port 10/40/56GbE Adapters w/ PCI Express 3.0
>>> このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
>>> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>>>
>>>
>
> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>
>
--
Hiroyuki Sato
佐藤です。
ご連絡をありがとうございます。
ちょっとばたばたしており返事が遅くなりました。
つまりConnectX2であれば、intermeidate版のファームを使うことで
Peer-to-Peerの通信ができるということですよね。
ものが無くて確認ができないので、まとめだけしてみました。
確認できたものはこの条件で直接接続できたということを教えていただけると幸甚です。
スイッチを利用せずに、カード二枚だけで、機器同士を直接接続できるかどうか
まとめのようなもの
1, Infinibandで接続する場合
・接続可能
・サブネットマネージャを動作させること
2, Ethernet接続の場合
(1) Connect-IB VPI Ethernet mode
・接続可能？
・ファームウェアはOfficialの最新版(Intermediateは提供されていない)
(2) ConnectX3 VPI Ethernet mode
・接続可能みたい
・ファームウェアはOfficialの最新版(Intermediateは提供されていない)
(3) ConnectX3 EN
・接続可能みたい
・ファームウェアはOfficialの最新版(Intermediateは提供されていない)
(4) ConnectX2 VPI Ethernet Mode
・ファームウェアをIntermediateにする(2.9.8350)することで接続可能
(5) ConnectX2 VPI EN
・ファームウェアをIntermediateにする(2.9.1200)することで接続可能
3, ファームウェアの入手先
http://www.mellanox.com/page/custom_firmware_table#Intermediate
2013年8月6日 4:16 @hanakara_milk <mekem...@gmail.com>:
>>>>
>>>> http://www.mellanox.com/page/products_dyn?product_family=63&mtag=connectx_2_en
>>>>
>>>> ●ConnectX(R)-3 EN Single/Dual-Port 10/40/56GbE Adapters w/ PCI Express 3.0
>>> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>>>
>>>
>
> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>
>
--
Hiroyuki Sato
Takayuki Kikuchi
Aug 13, 2013, 6:07:23 PM8/13/13
to ibh...@googlegroups.com
お疲れ様です。
菊池です。
ConnextX2 をIB接続で直結出来ました。
Windows2008R2とWindows2012で接続してます。
サービスの登録は
にかいてある。４．２あたりのことをやってみたらうまくいきました。
疎通確認Ping程度ですが・・・
2013年8月14日水曜日 2時29分57秒 UTC+9 Hiroyuki Sato:
>>> このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
>>> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>>>
>>>
>
> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
@hanakara_milk
Aug 19, 2013, 5:29:32 PM8/19/13
to ibh...@googlegroups.com
さとうさん
お疲れ様です、鈴木です。
まとめありがとうございます。ちょいこちらも忙しくてなかなか、直結ためせ
てません。先週末は、土曜日のみあいていたので、少し試して見たのですが、
以前、VPIのConnectX-2を挿していたPCにConnectX3のENを挿したんですが、HCA
自体が認識できず、いったん、WinOF及びドライバを削除したりしてみたんで
すが、デバイスマネージャから、ConnectX3のENのプロパティ見たらいきなり
再起動（再現性あり）とか、Windowsが半分終わってるので、また時間ができ
たときにOSから入れ直して試す予定です。
また、進展がありましたら、こちらでご報告させていただきます。
お疲れ様です、鈴木です。
まとめありがとうございます。ちょいこちらも忙しくてなかなか、直結ためせ
てません。先週末は、土曜日のみあいていたので、少し試して見たのですが、
以前、VPIのConnectX-2を挿していたPCにConnectX3のENを挿したんですが、HCA
自体が認識できず、いったん、WinOF及びドライバを削除したりしてみたんで
すが、デバイスマネージャから、ConnectX3のENのプロパティ見たらいきなり
再起動（再現性あり）とか、Windowsが半分終わってるので、また時間ができ
たときにOSから入れ直して試す予定です。
また、進展がありましたら、こちらでご報告させていただきます。
2013年8月14日水曜日 2時29分57秒 UTC+9 Hiroyuki Sato:
鈴木さん
>>> このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
>>> その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>>>
>>>
>
> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
@hanakara_milk
Aug 19, 2013, 5:46:55 PM8/19/13
to ibh...@googlegroups.com
きくちさま
お疲れ様です、鈴木です。
直結成功、おめでとうございます。
ib_read_bwとかでInfiniband自体の素の帯域みちゃうと、今度は、ストレージ
側を早くしたくなります。
現状でノンチューニングのRDMA転送で、ibhack#2でRAMディスク転送時に見えた
3GB/secをRAMディスクではなく、実際に入手可能なストレージ等で実現しよう
とすると、6GbpsのSATA SSDを8台～12台程度＋6Gbps対応のSATA/SAS RAIDコン
トローラがないと厳しい感じです。もしくは、ioDrive2を複数枚さしてRAID 0
構成あたりじゃないと難しいです。
つまり・・・ストレージ沼の世界へようこそってヤツですねｗ
DELLやHPで、一世代前、つまりXeon 5500/5600系がのるサーバに搭載されてい
るRAIDコントローラーは、SATAを載せると3Gbpsでしか動作しないことと、
RAIDコントローラーを通すと、ランダムRWがガタ落ちして、とんでもなく残念
な結果にしかなりませんで、結構凹んでます。
現行世代のE5-2600系が載るサーバのSAS/SATA RAIDコントローラーもSATAのデ
ィスク搭載時に関しては、相変わらず曖昧な表現で6Gbpsで動作するのか、3Gbps
で動作するのか分からず、手を出しかねています。
DL380 G7にSSDを14台載せて、P410 ArrayControllerで計測したら、ネットワ
ークを通さない素の状態でもシーケンシャルで300MB/sec程度（つまり3Gbpsの
上限程度）、ランダムに関しては100MBちょい/sec程度しかでませんでした。
完全にコントローラーネックになってしまっていて、なのでInfinibandを通し
ても、その数値が完全な上限となってしまいます。
現状、GB/sec越えの速度を実現できそうなのは、Adaptec ASR-71605を含むシ
リーズとかですが、そうすると今度は、大量のSSDを納めるハコと電源を供給
できるエンクロージャが必要になり、それを用意または入手するのがなかなか
難しいで手詰まっている状況です・・・
と言う訳で、こちらも試行錯誤していますが、きくちさんも頑張ってみて下
さい。
2013年8月14日水曜日 7時07分23秒 UTC+9 Takayuki Kikuchi:
お疲れ様です、鈴木です。
直結成功、おめでとうございます。
ib_read_bwとかでInfiniband自体の素の帯域みちゃうと、今度は、ストレージ
側を早くしたくなります。
現状でノンチューニングのRDMA転送で、ibhack#2でRAMディスク転送時に見えた
3GB/secをRAMディスクではなく、実際に入手可能なストレージ等で実現しよう
とすると、6GbpsのSATA SSDを8台～12台程度＋6Gbps対応のSATA/SAS RAIDコン
トローラがないと厳しい感じです。もしくは、ioDrive2を複数枚さしてRAID 0
構成あたりじゃないと難しいです。
つまり・・・ストレージ沼の世界へようこそってヤツですねｗ
DELLやHPで、一世代前、つまりXeon 5500/5600系がのるサーバに搭載されてい
るRAIDコントローラーは、SATAを載せると3Gbpsでしか動作しないことと、
RAIDコントローラーを通すと、ランダムRWがガタ落ちして、とんでもなく残念
な結果にしかなりませんで、結構凹んでます。
現行世代のE5-2600系が載るサーバのSAS/SATA RAIDコントローラーもSATAのデ
ィスク搭載時に関しては、相変わらず曖昧な表現で6Gbpsで動作するのか、3Gbps
で動作するのか分からず、手を出しかねています。
DL380 G7にSSDを14台載せて、P410 ArrayControllerで計測したら、ネットワ
ークを通さない素の状態でもシーケンシャルで300MB/sec程度（つまり3Gbpsの
上限程度）、ランダムに関しては100MBちょい/sec程度しかでませんでした。
完全にコントローラーネックになってしまっていて、なのでInfinibandを通し
ても、その数値が完全な上限となってしまいます。
現状、GB/sec越えの速度を実現できそうなのは、Adaptec ASR-71605を含むシ
リーズとかですが、そうすると今度は、大量のSSDを納めるハコと電源を供給
できるエンクロージャが必要になり、それを用意または入手するのがなかなか
難しいで手詰まっている状況です・・・
と言う訳で、こちらも試行錯誤していますが、きくちさんも頑張ってみて下
さい。
2013年8月14日水曜日 7時07分23秒 UTC+9 Takayuki Kikuchi:
Takayuki Kikuchi
Aug 19, 2013, 10:26:31 PM8/19/13
to ibh...@googlegroups.com
鈴木様
菊池です。
お疲れ様です。
ありがとうございます。
でも、問題が・・・いまさらかよ。って感じですが、ケーブル不良な予感です。
設定類はちゃんとしてるつもりで、、、
・vstat
hca_idx=0
uplink={BUS=PCI_E Gen2, SPEED=5.0 Gbps, WIDTH=x8, CAPS=5.0*x8}
MSI-X={ENABLED=1, SUPPORTED=128, GRANTED=26, ALL_MASKED=N}
vendor_id=0x02c9
vendor_part_id=26428
hw_ver=0xb0
fw_ver=2.09.1000
PSID=FJT0D90200009
node_guid=0002:c903:000e:7bf8
num_phys_ports=1
port=1
port_guid=0002:c903:000e:7bf9
port_state=PORT_ACTIVE (4)
link_speed=10.00 Gbps
link_width=4x (2)
rate=40.00 Gbps
real_rate=32.00 Gbps (QDR)
port_phys_state=LINK_UP (5)
active_speed=10.00 Gbps
sm_lid=0x0001
port_lid=0x0002
port_lmc=0x0
transport=IB
max_mtu=4096 (5)
active_mtu=4096 (5)
GID[0]=fe80:0000:0000:0000:0002:c903:000e:7bf9
・ibstat
CA 'ibv_device0'
CA type:
Number of ports: 1
Firmware version: 0x2000903e8
Hardware version: 0xb0
Node GUID: 0x0002c903000e7bf8
System image GUID: 0x0002c903000e7bfb
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Real rate: 32.00 (QDR)
Base lid: 2
LMC: 0
SM lid: 1
Capability mask: 0x90580000
Port GUID: 0x0002c903000e7bf9
・ibportstate
CA PortInfo:
# Port info: Lid 1 port 1
LinkState:.......................Active
PhysLinkState:...................LinkUp
Lid:.............................1
SMLid:...........................1
LMC:.............................0
LinkWidthSupported:..............1X or 4X
LinkWidthEnabled:................1X or 4X
LinkWidthActive:.................4X
LinkSpeedSupported:..............2.5 Gbps or 5.0 Gbps or 10.0 Gbps
LinkSpeedEnabled:................2.5 Gbps or 5.0 Gbps or 10.0 Gbps
LinkSpeedActive:.................10.0 Gbps
LinkSpeedActive×LinkWidthActiveで40Gbpsってことですかね？
繋がってるのかな。これ。
・perfquery
PortSelect:......................1
CounterSelect:...................0x0000
SymbolErrorCounter:..............65535
LinkErrorRecoveryCounter:........0
LinkDownedCounter:...............3
PortRcvErrors:...................6652
PortRcvRemotePhysicalErrors:.....0
PortRcvSwitchRelayErrors:........0
PortXmitDiscards:................5
PortXmitConstraintErrors:........0
PortRcvConstraintErrors:.........0
CounterSelect2:..................0x00
LocalLinkIntegrityErrors:........0
ExcessiveBufferOverrunErrors:....0
VL15Dropped:.....................0
PortXmitData:....................97569
PortRcvData:.....................92242
PortXmitPkts:....................1423
PortRcvPkts:.....................1291
PortXmitWait:....................0
よくなかった・・・SymbolErrorCounterがウナギ登りでした。。。
片方だけなんですが、HCAが腐ってるのか、ケーブルが腐ってるのか不明です。。。
ケーブル差し替えたらSymbolErrorCounter増えるほうも変わりました。
ケーブル腐ってるのかなぁ。。。
・ib_read_bw -a
#bytes #iterations BW average[MB/sec]
2 1000 0.03
4 1000 0.11
8 1000 22.50
16 1000 45.71
32 1000 91.31
64 1000 1.89
128 1000 357.34
256 1000 644.22
512 1000 15.18
1024 1000 14.54
2048 1000 1656.89
4096 1000 59.03
8192 1000 3233.25
16384 1000 29.20
32768 1000 29.84
65536 1000 235.42
131072 1000 95.26
262144 1000 35.19
うぅ(＠_＠;)
ケーブルを変えてみたいけど、1本しかないｗ
それとも設定不良でエラーカウンタ上がってるのかな。。。
菊池です。
お疲れ様です。
ありがとうございます。
でも、問題が・・・いまさらかよ。って感じですが、ケーブル不良な予感です。
設定類はちゃんとしてるつもりで、、、
・vstat
hca_idx=0
uplink={BUS=PCI_E Gen2, SPEED=5.0 Gbps, WIDTH=x8, CAPS=5.0*x8}
MSI-X={ENABLED=1, SUPPORTED=128, GRANTED=26, ALL_MASKED=N}
vendor_id=0x02c9
vendor_part_id=26428
hw_ver=0xb0
fw_ver=2.09.1000
PSID=FJT0D90200009
node_guid=0002:c903:000e:7bf8
num_phys_ports=1
port=1
port_guid=0002:c903:000e:7bf9
port_state=PORT_ACTIVE (4)
link_speed=10.00 Gbps
link_width=4x (2)
rate=40.00 Gbps
real_rate=32.00 Gbps (QDR)
port_phys_state=LINK_UP (5)
active_speed=10.00 Gbps
sm_lid=0x0001
port_lid=0x0002
port_lmc=0x0
transport=IB
max_mtu=4096 (5)
active_mtu=4096 (5)
GID[0]=fe80:0000:0000:0000:0002:c903:000e:7bf9
・ibstat
CA 'ibv_device0'
CA type:
Number of ports: 1
Firmware version: 0x2000903e8
Hardware version: 0xb0
Node GUID: 0x0002c903000e7bf8
System image GUID: 0x0002c903000e7bfb
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Real rate: 32.00 (QDR)
Base lid: 2
LMC: 0
SM lid: 1
Capability mask: 0x90580000
Port GUID: 0x0002c903000e7bf9
・ibportstate
CA PortInfo:
# Port info: Lid 1 port 1
LinkState:.......................Active
PhysLinkState:...................LinkUp
Lid:.............................1
SMLid:...........................1
LMC:.............................0
LinkWidthSupported:..............1X or 4X
LinkWidthEnabled:................1X or 4X
LinkWidthActive:.................4X
LinkSpeedSupported:..............2.5 Gbps or 5.0 Gbps or 10.0 Gbps
LinkSpeedEnabled:................2.5 Gbps or 5.0 Gbps or 10.0 Gbps
LinkSpeedActive:.................10.0 Gbps
LinkSpeedActive×LinkWidthActiveで40Gbpsってことですかね？
繋がってるのかな。これ。
・perfquery
PortSelect:......................1
CounterSelect:...................0x0000
SymbolErrorCounter:..............65535
LinkErrorRecoveryCounter:........0
LinkDownedCounter:...............3
PortRcvErrors:...................6652
PortRcvRemotePhysicalErrors:.....0
PortRcvSwitchRelayErrors:........0
PortXmitDiscards:................5
PortXmitConstraintErrors:........0
PortRcvConstraintErrors:.........0
CounterSelect2:..................0x00
LocalLinkIntegrityErrors:........0
ExcessiveBufferOverrunErrors:....0
VL15Dropped:.....................0
PortXmitData:....................97569
PortRcvData:.....................92242
PortXmitPkts:....................1423
PortRcvPkts:.....................1291
PortXmitWait:....................0
よくなかった・・・SymbolErrorCounterがウナギ登りでした。。。
片方だけなんですが、HCAが腐ってるのか、ケーブルが腐ってるのか不明です。。。
ケーブル差し替えたらSymbolErrorCounter増えるほうも変わりました。
ケーブル腐ってるのかなぁ。。。
・ib_read_bw -a
#bytes #iterations BW average[MB/sec]
2 1000 0.03
4 1000 0.11
8 1000 22.50
16 1000 45.71
32 1000 91.31
64 1000 1.89
128 1000 357.34
256 1000 644.22
512 1000 15.18
1024 1000 14.54
2048 1000 1656.89
4096 1000 59.03
8192 1000 3233.25
16384 1000 29.20
32768 1000 29.84
65536 1000 235.42
131072 1000 95.26
262144 1000 35.19
うぅ(＠_＠;)
ケーブルを変えてみたいけど、1本しかないｗ
それとも設定不良でエラーカウンタ上がってるのかな。。。
Hiroyuki Sato
Aug 20, 2013, 5:30:14 AM8/20/13
to ibh...@googlegroups.com
鈴木さん
あてずっぽうですが、
1, IPoIBの設定はしていますか？
2, ib_read_bwの起動はどのようにしていますか？
(1) サーバ側
(2) クライアント側
3, ibclearerrorsを実行してもエラーがカウントアップされますか？
2台だと思うので、それぞれのサーバのvstatなどの出力を添付した方がよいと思います。
ib_read_bwは、Infinibandのデータの情報交換をするのにIPを使います。
なのでIPoIBの設定が必要です。
IPoIBの設定をしないで、Gigabit Ethernetのアドレスを指定すると、
(たしか)ギガビットイーサネット経由で帯域の試験をしたように思います。
...いや普通のギガビットでもよかったかも..記憶が曖昧です。
設定を見る限り接続はちゃんとできているように見えます。
10Gと書いてあるのはPCIeの速度のはずです。
1, 2台のサーバをケーブルで接続
2, OpenSMを起動する
3, 2台のサーバに、IPoIBの設定をそれぞれにする。
4, サーバ1からサーバ2のIPoIBのインターフェースへping
5, サーバ1でib_read_bw -a
6, サーバ2で、ib_read_bw -a サーバ1のIPoIBのアドレス
としたらどうなりますか？
2013年8月20日 11:26 Takayuki Kikuchi <gat...@gmail.com>:
あてずっぽうですが、
1, IPoIBの設定はしていますか？
2, ib_read_bwの起動はどのようにしていますか？
(1) サーバ側
(2) クライアント側
3, ibclearerrorsを実行してもエラーがカウントアップされますか？
2台だと思うので、それぞれのサーバのvstatなどの出力を添付した方がよいと思います。
ib_read_bwは、Infinibandのデータの情報交換をするのにIPを使います。
なのでIPoIBの設定が必要です。
IPoIBの設定をしないで、Gigabit Ethernetのアドレスを指定すると、
(たしか)ギガビットイーサネット経由で帯域の試験をしたように思います。
...いや普通のギガビットでもよかったかも..記憶が曖昧です。
設定を見る限り接続はちゃんとできているように見えます。
10Gと書いてあるのはPCIeの速度のはずです。
1, 2台のサーバをケーブルで接続
2, OpenSMを起動する
3, 2台のサーバに、IPoIBの設定をそれぞれにする。
4, サーバ1からサーバ2のIPoIBのインターフェースへping
5, サーバ1でib_read_bw -a
6, サーバ2で、ib_read_bw -a サーバ1のIPoIBのアドレス
としたらどうなりますか？
2013年8月20日 11:26 Takayuki Kikuchi <gat...@gmail.com>:
> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
Hiroyuki Sato
Aug 20, 2013, 5:30:48 AM8/20/13
to ibh...@googlegroups.com
Takayuki Kikuchi
Aug 20, 2013, 7:54:48 AM8/20/13
to ibh...@googlegroups.com
Satoさん
菊池です。
お疲れ様です。
①IPoIBの設定ってどれのことでしょうか・・・
IP設定？
コマンドについては両方載せるべきでしたが、見づらいなぁと思いつつ片方しか載せてませんでした。。。
しかも帰り際にESXiを入れてしまったので、再現不可です。。。。
別件で借りてるサーバーなのでそろそろ目的のものをちゃんと検証しないとまずくて
余裕があったら再挑戦します。
MTUが４０００ってことはDatagram Modeなんでしょうか・・・
②テストについては
ここを見てやりました。
サーバー：ib_write_bw -a
クライアント：ib_write_bw -a IPアドレス
③カウンターリセットは
perfquery -R 1 1 とかやってみました。同じ意味かな。違うならまた後でやってみます。
④最後の確認手順は
IPoIBの設定ってのが理解できてませんが。
それ以外はできてます。
もう少し環境伝えればよかったですね。
どちらもWindows2012で
IB（MHQH19B-XTRの富士通OEM）で直結
IP設定はGigabitと別のIPアドレス範囲で設定。
１G,10G,IBでそれぞれ別のIPアドレス体系で通信可能な状態
（トラフィックも別の方法でそれぞれのインターフェースに流れることを確認）
ibdiagnetってコマンドを叩いてみたらエラーカウンターが上がり過ぎだよ！って警告が出てたので
ケーブルかHCAがダメっぽい気で居ましたが、
そのIPoIBの設定ってのが間違ってるかもしれませんよね。
どうしたもんか。。。
どちらにせよ、もう一度環境作って試験してみますね。
まぁ借りてるサーバーじゃなくてもいいか、切り分けかねてやってみます。
2013年8月20日火曜日 18時30分14秒 UTC+9 Hiroyuki Sato:
> このグループから退会し、メールの受信を停止するには、ibhack+unsubscribe@googlegroups.com にメールを送信します。
Hiroyuki Sato
Aug 20, 2013, 9:00:12 AM8/20/13
to ibh...@googlegroups.com
菊池さん
IPoIBの設定はInfinibandのインターフェースにIPを設定することです。
お送りいただいたメールだと設定がされているようですね。
結論からいうとやっぱりケーブルかHCAを確認した方がよさそうですね。
SymbolErrorCounter というのは、物理レイヤで、データのパリティが
違っているときなどにカウントされるもののようです。
[IBTA Vol2 1.3 ] 5.9.2 MINOR LINK PHYSICAL ERRORS EVENTS
と私の英語力では読めます(※ 英語得意なかた教えてください。)
カードをさす場所、カードの差し具合、ケーブルなどを
一度確認した方がよいかもしれませんね。
MTU 4000というのは、InfinibandのデータのMTUです。
2Kと4Kがあります。
WinOFは、最新？(4.0.4?)あたりからMTUが4Kになっているようです。
Linuxは今まで、2Kでした。
異なるOS間で、IB接続をする場合はここも確認をした方がよいと思います。
2013年8月20日 20:54 Takayuki Kikuchi <gat...@gmail.com>:
>> > このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com
IPoIBの設定はInfinibandのインターフェースにIPを設定することです。
お送りいただいたメールだと設定がされているようですね。
結論からいうとやっぱりケーブルかHCAを確認した方がよさそうですね。
SymbolErrorCounter というのは、物理レイヤで、データのパリティが
違っているときなどにカウントされるもののようです。
[IBTA Vol2 1.3 ] 5.9.2 MINOR LINK PHYSICAL ERRORS EVENTS
と私の英語力では読めます(※ 英語得意なかた教えてください。)
カードをさす場所、カードの差し具合、ケーブルなどを
一度確認した方がよいかもしれませんね。
MTU 4000というのは、InfinibandのデータのMTUです。
2Kと4Kがあります。
WinOFは、最新？(4.0.4?)あたりからMTUが4Kになっているようです。
Linuxは今まで、2Kでした。
異なるOS間で、IB接続をする場合はここも確認をした方がよいと思います。
2013年8月20日 20:54 Takayuki Kikuchi <gat...@gmail.com>:
>> > にメールを送信します。
>> > その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>>
>>
>>
>> --
>> Hiroyuki Sato
>
>
>
>
>
>> > その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
>>
>>
>>
>> --
>> Hiroyuki Sato
>
>
>
>
>
> --
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
> このグループから退会し、メールの受信を停止するには、ibhack+un...@googlegroups.com にメールを送信します。
> このメールは Google グループのグループ「InfiniBand Hackathon」の登録者に送られています。
Takayuki Kikuchi
Aug 20, 2013, 9:39:39 AM8/20/13
to ibh...@googlegroups.com
菊池です。
メールの返信でもいけるんでしたよね。テスト兼ねつつ。
あと緑のランプが点滅します。
片方だけ(´Д` )
どこかのPDFでケーブル不良って書いてありました。
アルティマさんだっけかな。
駄目元で買った人に聞いてみようかな…
色々とありがとうございます。
> ▲謄好箸砲弔い討
> http://www.altima.co.jp/products/mellanoxtechnologies/capability_evaluate.html
> ここを見てやりました。
> サーバー：ib_write_bw -a
> クライアント：ib_write_bw -a IPアドレス
>
> カウンターリセットは
> perfquery -R 1 1 とかやってみました。同じ意味かな。違うならまた後でやってみます。
>
> ず埜紊粒稜Ъ蟒腓
このトピックの登録を解除するには、https://groups.google.com/d/topic/ibhack/cakFUWBHd-A/unsubscribe にアクセスします。このグループから退会し、グループのすべてのトピックの登録を解除するには、ibhack+un...@googlegroups.com にメールを送信します。
その他のオプションについては、https://groups.google.com/groups/opt_out にアクセスしてください。
Reply all
Reply to author
Forward
0 new messages