勉強会ネタ
635 views
Skip to first unread message
Hiroyuki Sato
Nov 2, 2012, 9:07:46 AM11/2/12
to ibh...@googlegroups.com
佐藤です。
Windows話が出ていたのでたたき台を考えました。
あとで追記したいと思います。
私普段はWindowsを使わないので、WinOFは初めてです。
お気づきの点があればお知らせください。
Windows Server 2012 SMB Directによるネットワークの高速化
を試してみよう
1, 必要機材
(1) サーバ: 2台
(2) Connect-X2以上のHCAカード 2枚
(3) Infinibandケーブル 1台
(4) DVDドライブ サーバについていない場合
(5) モニタ 2個
(6) キーボード 2個
(7) マウス 2個
(8) メモリは多い方が望ましい。
2, 必要なソフト
(1) Windows Server 2012 評価版 2枚
評価版があるらしい。
(2) WinOFドライバ
3, その他
(1) ドライバ(ねじ回し) : 前回なくて色々苦労
4, 方法
(1) A班、B班で、それぞれWindows 2012 + Infiniband環境を構築
(2) 双方環境ができたら相互、接続簡単なIB試験
(3) どちらかをSMBのサーバに、どちらかをクライアントに
(4) サーバにはRAMDiskとSMBのサーバを設定
(5) クライアントにはベンチマークツールを導入
5, 手順(A班) : サーバ1
(1) サーバを用意
(2) モニタ・キーボードを接続
(3) IBカード取り付け
(4) Windows Server 2012 を導入
(5) WinOFドライバの導入
(6) ドライバが認識しているか確認
6, 手順(B班) : サーバ2
(1) サーバを用意
(2) モニタ・キーボードを接続
(3) IBカード取り付け
(4) Windows Server 2012 を導入
(5) WinOFドライバの導入
(6) ドライバが認識しているか確認
(7) IOMeter導入
7, 相互接続テスト
(1) サーバ1とサーバ2をIBケーブルで接続
(2) サーバ1にRAMDisk設定
(3) ib_read_bwなどの基本コマンド(あるの？)を実行し疎通確認
(4) ib_read_bwなで帯域速度測定
(5) ib_read_latなどで遅延速度測定
(6) iometerでテスト
8, 相互接続テスト
(1) サーバ1とサーバ2をそれぞれEthernetに設定変更
(2) IPアドレスを設定
(3) pingで疎通確認
(4) SMBの設定(SMBDirectではなく)
(5) iometerでテスト
9, 参考資料
(1) Mellanox WinOF for Windows Server 2012 Quick Start Guide
(2) Windows 8 あまり検証されていなさそうなネタ （Infiniband）
http://heroshima.jp/matsu/windows-8-あまり検証されていなさそうなネタ-（infiniband）
danna
Nov 3, 2012, 4:21:32 AM11/3/12
to ibh...@googlegroups.com
dannaです。
僕の方のやりたいことを伝えます。
多分、前回同様一度もLinuxのOFEDインストール設定した経験の
ないかた向けのことをやります。
冬コミ落ちましたが、原稿のアップデートを掛けたいので、
あと3.2系の宿題が残ってるので、ついでにやろうかと思います。
対象OSは、RHEL系で
・yum？
・OFED 1.5 ＞ CentOS 6.3
・OFED 3.2 ＞ Fedora 17
必要な機材ですが、
2012年11月2日金曜日 22時07分46秒 UTC+9 Hiroyuki Sato:
僕の方のやりたいことを伝えます。
多分、前回同様一度もLinuxのOFEDインストール設定した経験の
ないかた向けのことをやります。
冬コミ落ちましたが、原稿のアップデートを掛けたいので、
あと3.2系の宿題が残ってるので、ついでにやろうかと思います。
対象OSは、RHEL系で
・yum？
・OFED 1.5 ＞ CentOS 6.3
・OFED 3.2 ＞ Fedora 17
必要な機材ですが、
(1) サーバ: 2台
(2) HCAカード 2枚
(3) Infinibandケーブル １本
(4) あれば交換可能なHDD 2,3個
※最悪、OSの初期状態に一瞬で戻したいので
上手く行けば、さくっと終わるので、
のこりはドキュメント読みながら
SubnetManegerとかIB Verbsでプログラムしてみるとか
もくもくやります
(4) あれば交換可能なHDD 2,3個
※最悪、OSの初期状態に一瞬で戻したいので
上手く行けば、さくっと終わるので、
のこりはドキュメント読みながら
SubnetManegerとかIB Verbsでプログラムしてみるとか
もくもくやります
2012年11月2日金曜日 22時07分46秒 UTC+9 Hiroyuki Sato:
Hiroyuki Sato
Nov 4, 2012, 5:54:27 AM11/4/12
to ibh...@googlegroups.com
私も新しいOFEDは試してみたいです。
ちなみに今は3.5-rc2(3?)が最新です。
SMBやるならマルチチャンネルSMB + RDMAというのをやってみたいですね。
手順などを追加しました。(OpenSMの起動とIPの設定を忘れてしました)
Windows Server 2012 SMB Directによるネットワークの高速化
を試してみよう
1, 必要機材
(1) サーバ: 2台
(2) Connect-X2以上のHCAカード 2枚 (あれば4枚)
(3) Infinibandケーブル 1台 (あれば2本)
(2) ケーブルの状態を確認
物理リンクは接続されているが論理リンクは
確立されていないことをLEDの状態を見て確認
(3) サーバ1でopensmを起動
(4) ケーブルの状態を確認
物理リンクは接続されているが論理リンクは
確立されたことを確認
(5) サーバ1、サーバ2のInfinibandインターフェースにIPを設定
(6) サーバ1にRAMDisk設定
(7) ib_read_bwなどの基本コマンド(あるの？)を実行し疎通確認
(8) ib_read_bwなで帯域速度測定
(9) ib_read_latなどで遅延速度測定
(10) iometerでテスト
(11) SMBマルチチャンネルに挑戦
8, 相互接続テスト(時間があれば)
(1) サーバ1とサーバ2をそれぞれEthernetに設定変更
(2) IPアドレスを設定
(3) pingで疎通確認
(4) SMBの設定(SMBDirectではなく)
(5) iometerでテスト
9, 参考資料
(1) Mellanox WinOF for Windows Server 2012 Quick Start Guide
(2) Windows 8 あまり検証されていなさそうなネタ （Infiniband）
http://heroshima.jp/matsu/windows-8-あまり検証されていなさそうなネタ-（infiniband）
(3) SMB Direct (SMB over RDMA)
(4) Deploying Windows Server 2012 with SMB Direct over Mellanox
InfiniBand End-to-End Interconnect Solutions
(5) SMB ダイレクトを使用してファイル サーバーのパフォーマンスを向上させる
(6) Windows Server 2012 のファイル サーバーに SMB 3.0 の新機能
(7) [MS-SMB2]: Server Message Block (SMB) Protocol Versions 2 and 3
2012年11月3日土曜日 17時21分33秒 UTC+9 danna:
@hanakara_milk
Nov 4, 2012, 6:25:42 AM11/4/12
to ibh...@googlegroups.com
お疲れ様です、hanakara_milkこと鈴木です。
佐藤さん相変わらず仕事が早いです、ありがとう御座います！
ちなみに、参考ですがWindows Server 2008 R2の以下のディレクトリのリスト結果です。
C:\Program Files\Mellanox\MLNX_VPI\IB\Tools\
ibclearerrors.exe
ibnetdiscover.exe
ibping.exe
ibportstate.exe
ibroute.exe
ibstat.exe
ibtracert.exe
ibv_read_bw.exe
ibv_read_lat.exe
ibv_send_bw.exe
ibv_send_lat.exe
ibv_write_bw.exe
ibv_write_lat.exe
ib_read_bw.exe
ib_read_lat.exe
ib_send_bw.exe
ib_send_lat.exe
ib_write_bw.exe
ib_write_lat.exe
opensm.exe
opensm.opts
osmtest.exe
part_man.exe
perfquery.exe
perf_tuning.exe
sminfo.exe
smpquery.exe
vstat.exe
見る限り、一応、一通りのツールはありそうですが、ESXi4にはそ
れなりにそろってたドライバやツールがESXi5では、ほとんどなく
なっていた（もしくはまだ開発が間に合ってない）と言う事例もあ
るので、念のため、うちでも一度、Windows Server 2012のほうで
実際にインストールして確認してみます。
それから、Windows Server 2012の評価版DVDがうちに2枚ほどあり
ますので、必要であればお持ちします。
それから
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=129&menu_section=34
と
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=32&menu_section=34#tab-three
だと、下の方が新しいのかな？ご存じの方いたらご一報を下さいま
すと助かります。
2012年11月4日日曜日 19時54分27秒 UTC+9 Hiroyuki Sato:
佐藤さん相変わらず仕事が早いです、ありがとう御座います！
ちなみに、参考ですがWindows Server 2008 R2の以下のディレクトリのリスト結果です。
C:\Program Files\Mellanox\MLNX_VPI\IB\Tools\
ibclearerrors.exe
ibnetdiscover.exe
ibping.exe
ibportstate.exe
ibroute.exe
ibstat.exe
ibtracert.exe
ibv_read_bw.exe
ibv_read_lat.exe
ibv_send_bw.exe
ibv_send_lat.exe
ibv_write_bw.exe
ibv_write_lat.exe
ib_read_bw.exe
ib_read_lat.exe
ib_send_bw.exe
ib_send_lat.exe
ib_write_bw.exe
ib_write_lat.exe
opensm.exe
opensm.opts
osmtest.exe
part_man.exe
perfquery.exe
perf_tuning.exe
sminfo.exe
smpquery.exe
vstat.exe
見る限り、一応、一通りのツールはありそうですが、ESXi4にはそ
れなりにそろってたドライバやツールがESXi5では、ほとんどなく
なっていた（もしくはまだ開発が間に合ってない）と言う事例もあ
るので、念のため、うちでも一度、Windows Server 2012のほうで
実際にインストールして確認してみます。
それから、Windows Server 2012の評価版DVDがうちに2枚ほどあり
ますので、必要であればお持ちします。
それから
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=129&menu_section=34
と
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=32&menu_section=34#tab-three
だと、下の方が新しいのかな？ご存じの方いたらご一報を下さいま
すと助かります。
2012年11月4日日曜日 19時54分27秒 UTC+9 Hiroyuki Sato:
gonnosuke yotuya
Nov 4, 2012, 7:09:11 PM11/4/12
to ibh...@googlegroups.com
おつかれさまです、KSG四谷です。
機材に関してですが、多少であれば店の中古商品を借りて検証ができます。富士通のラックサーバーを4台位ならだせるかな(在庫次第ですが) メモリは適当に用意できますw問題はセミナールームの電源かなぁ 流石にrx600とかだとヤバそうです。モニターですが、弊社検査用しかないのでご用意をおねがいいたします。
機材に関してですが、多少であれば店の中古商品を借りて検証ができます。富士通のラックサーバーを4台位ならだせるかな(在庫次第ですが) メモリは適当に用意できますw問題はセミナールームの電源かなぁ 流石にrx600とかだとヤバそうです。モニターですが、弊社検査用しかないのでご用意をおねがいいたします。
seafay
Nov 4, 2012, 8:00:23 PM11/4/12
to ibh...@googlegroups.com
モニター必要なら、8枚くらいまではこべますよ
あまり手伝いできておらず申し訳ないですが、そんなことでよろしければ
あまり手伝いできておらず申し訳ないですが、そんなことでよろしければ
おつかれさまです、KSG四谷です。
機材に関してですが、多少であれば店の中古商品を借りて検証ができます。富士通のラックサーバーを4台位ならだせるかな(在庫次第ですが) メモリは適当に用意できますw問題はセミナールームの電源かなぁ 流石にrx600とかだとヤバそうです。モニターですが、弊社検査用しかないのでご用意をおねがいいたします。
--
gonnosuke yotuya
Nov 4, 2012, 8:26:44 PM11/4/12
to ibh...@googlegroups.com
おお！
それは是非wよろしくお願いいたします。
2012年11月5日月曜日 10時00分24秒 UTC+9 seafay:
Danna
Nov 5, 2012, 12:55:32 AM11/5/12
to ibh...@googlegroups.com
だんなです。
モニタなら私物の7.1インチが机の足元に常駐しています。
あと2枚くらいなら家から持ち出しても、
足元に当日まで保管、後日回収もできます（当日呑むつもりw)
(2012/11/05 10:26), gonnosuke yotuya wrote:
>
> おお！
> それは是非wよろしくお願いいたします。
>
>
> 2012年11月5日月曜日 10時00分24秒 UTC+9 seafay:
>
>> モニター必要なら、8枚くらいまではこべますよ
>> あまり手伝いできておらず申し訳ないですが、そんなことでよろしければ
>>
>>
>> 2012年11月5日 9:09 gonnosuke yotuya <gon.y...@gmail.com <javascript:>>:
モニタなら私物の7.1インチが机の足元に常駐しています。
あと2枚くらいなら家から持ち出しても、
足元に当日まで保管、後日回収もできます（当日呑むつもりw)
(2012/11/05 10:26), gonnosuke yotuya wrote:
>
> おお！
> それは是非wよろしくお願いいたします。
>
>
> 2012年11月5日月曜日 10時00分24秒 UTC+9 seafay:
>
>> モニター必要なら、8枚くらいまではこべますよ
>> あまり手伝いできておらず申し訳ないですが、そんなことでよろしければ
>>
>>
Hiroyuki Sato
Nov 5, 2012, 7:28:57 AM11/5/12
to ibh...@googlegroups.com
鈴木さん
佐藤です。
ありがとうございます。
パフォーマンスのテストはできそうですね。
ibv_devinfoとか無いんですね。
本番までに調べてみたいと思います。
資料はまたアップデートいたします。
LinuxとWindowsと興味のある人はどれぐらいの割合なんでしょうね。
よろしく御願いします。
2012年11月4日 20:25 @hanakara_milk <mekem...@gmail.com>:
> --
>
>
--
Hiroyuki Sato
佐藤です。
ありがとうございます。
パフォーマンスのテストはできそうですね。
ibv_devinfoとか無いんですね。
本番までに調べてみたいと思います。
資料はまたアップデートいたします。
LinuxとWindowsと興味のある人はどれぐらいの割合なんでしょうね。
よろしく御願いします。
2012年11月4日 20:25 @hanakara_milk <mekem...@gmail.com>:
>
>
--
Hiroyuki Sato
@hanakara_milk
Nov 5, 2012, 9:21:30 AM11/5/12
to ibh...@googlegroups.com
お疲れ様です、hanakara_milkこと鈴木です。
前回のibhackでも利用した、ON-LAP 1302もってけます。少々視認性に難がありますが
iPad程度の薄さ、軽さなので持ち運びに苦労しないので。
最後に全体で転送速度等の結果を見るときは、いずれか一方側の出力をプロジェクター
に出してみんなで見れるようにするのがいいかもしれません。
2012年11月5日月曜日 14時55分38秒 UTC+9 danna:
前回のibhackでも利用した、ON-LAP 1302もってけます。少々視認性に難がありますが
iPad程度の薄さ、軽さなので持ち運びに苦労しないので。
最後に全体で転送速度等の結果を見るときは、いずれか一方側の出力をプロジェクター
に出してみんなで見れるようにするのがいいかもしれません。
2012年11月5日月曜日 14時55分38秒 UTC+9 danna:
@hanakara_milk
Nov 5, 2012, 9:26:17 AM11/5/12
to ibh...@googlegroups.com
佐藤さま
お疲れ様です、hanakara_milkこと鈴木です。
今、コマンドを打ってみたところ、ibv_devinfoありました。どこかにPATHが通っていて
前回、リストしたディレクトリ以外に入ってるっぽいです。
と言ってもあくまでWindows Server 2008 R2環境下でなので、Windows Server 2012
のWinOFに入っているかは、微妙ですが。。。
C:\Program Files\Mellanox\MLNX_VPI\IB\Tools>ibv_devinfo
hca_id: ibv_device0
fw_ver: 0x2000903e8
node_guid: 0002:c903:0008:47aa
sys_image_guid: 0002:c903:0008:47ad
vendor_id: 0x02c9
vendor_part_id: 26418
hw_ver: 0xB0
phys_port_cnt: 1
port: 1
state: PORT_ACTIVE (4)
max_mtu: 4096 (5)
active_mtu: 4096 (5)
sm_lid: 1
port_lid: 1
port_lmc: 0x00
transport: IB
2012年11月5日月曜日 21時28分57秒 UTC+9 Hiroyuki Sato:
お疲れ様です、hanakara_milkこと鈴木です。
今、コマンドを打ってみたところ、ibv_devinfoありました。どこかにPATHが通っていて
前回、リストしたディレクトリ以外に入ってるっぽいです。
と言ってもあくまでWindows Server 2008 R2環境下でなので、Windows Server 2012
のWinOFに入っているかは、微妙ですが。。。
C:\Program Files\Mellanox\MLNX_VPI\IB\Tools>ibv_devinfo
hca_id: ibv_device0
fw_ver: 0x2000903e8
node_guid: 0002:c903:0008:47aa
sys_image_guid: 0002:c903:0008:47ad
vendor_id: 0x02c9
vendor_part_id: 26418
hw_ver: 0xB0
phys_port_cnt: 1
port: 1
state: PORT_ACTIVE (4)
max_mtu: 4096 (5)
active_mtu: 4096 (5)
sm_lid: 1
port_lid: 1
port_lmc: 0x00
transport: IB
2012年11月5日月曜日 21時28分57秒 UTC+9 Hiroyuki Sato:
清水 宏樹
Nov 5, 2012, 4:19:14 PM11/5/12
to ibh...@googlegroups.com
皆さん
金曜の晩までにうちから持ち出し可能なIB機材をリストアップします。金曜の打ち合わせ時に参考にして下さい。
清水
金曜の晩までにうちから持ち出し可能なIB機材をリストアップします。金曜の打ち合わせ時に参考にして下さい。
清水
Hiroyuki Sato
Nov 5, 2012, 5:41:03 PM11/5/12
to ibh...@googlegroups.com
佐藤です。
清水さんよろしく御願いします。
鈴木さん・皆さん
手順少しだけ追記しました。
Windowsをあまり使わないので、PowerShellがよくわからないのと
SMBのサーバを構築するところがよくわかりません。
9, WinOFドライバの導入
参考文献(1)のまま作業
ドライバをダブルクリックしてインストール
デバイスの設定は、デバイスマネージャで実施
Step 1 Display the Device Manager and expand “Network adapters”.
Step 2. Right-click on the Mellanox ConnectX VPI network adapter
and left-click Properties. Select the Port Protocol tab
from the Properties sheet.
10, SMBの設定
参考文献(4)を参考に
(1) サブネットマネージャ
デフォルトのはログの設定?が間違えているらしい。
SC.EXE delete OpenSM
New-Service -Name “OpenSM” -BinaryPathName “`”C:\Program
Files\Mellanox\MLNX_VPI\ IB\Tools\opensm.exe`” --service -L 128”
-DisplayName “OpenSM” -Description “OpenSM” - StartupType Automatic
Start-Service OpenSM
複数ポートを使うときは同じ資料にポート毎にSMを起動する方法が書かれている
(2) ibstatでポートの状態を確認
(3) IPアドレスの設定
Set-NetIPInterface -InterfaceAlias RDMA1 -DHCP Disabled
Remove-NetIPAddress -InterfaceAlias RDMA1 -AddressFamily IPv4
-Confirm:$false
New-NetIPAddress -InterfaceAlias RDMA1 -AddressFamily IPv4
-IPv4Address 192.168.1.10 -PrefixLength 24 -Type Unicast
Set-DnsClientServerAddress -InterfaceAlias RDMA1 -ServerAddresses
192.168.1.2
(4) ネットワーク設定の確認
Get-NetOffloadGlobalSetting | Select NetworkDirect
Get-NetAdapterRDMA
Get-NetAdapterHardwareInfo
(5) SMB設定の確認(クライアント側)
Get-SmbClientConfiguration | Select EnableMultichannel
Get-SmbClientNetworkInterface
(6) SMB設定の確認(サーバ側)
Get-SmbServerConfiguration | Select EnableMultichannel
Get-SmbServerNetworkInterface
netstat.exe -xan | ? {$_ -match "445"}
(7) SMBコネクションの確認
Get-SmbConnection
Get-SmbMultichannelConnection
netstat.exe -xan | ? {$_ -match "445"}
(8) パフォーマンス(別途確認)
有効・無効の設定は参考文献(5)が参考になる。
11, 参考資料
(1) Mellanox WinOF for Windows Server 2012 Quick Start Guide
http://www.mellanox.com/related-docs/prod_software/Mellanox_WinOF_for_Windows_Server_2012_Quick_Start_Guide.pdf
(2) Windows 8 あまり検証されていなさそうなネタ （Infiniband）
http://heroshima.jp/matsu/windows-8-あまり検証されていなさそうなネタ-（infiniband）
(3) SMB Direct (SMB over RDMA)
http://d.hatena.ne.jp/takaochan/20120716/1342448120
(4) Deploying Windows Server 2012 with SMB Direct over Mellanox
InfiniBand End-to-End Interconnect Solutions
http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
(5) SMB ダイレクトを使用してファイル サーバーのパフォーマンスを向上させる
http://technet.microsoft.com/ja-jp/library/jj134210.aspx
(6) Windows Server 2012 のファイル サーバーに SMB 3.0 の新機能
http://support.microsoft.com/kb/2709568/ja
(7) [MS-SMB2]: Server Message Block (SMB) Protocol Versions 2 and 3
http://msdn.microsoft.com/en-us/library/cc246482(prot.20).aspx
(8) RAM Disk: High-Performance RAM Disk Emulator
http://www.starwindsoftware.com/high-performance-ram-disk-emulator
2012年11月6日 6:19 清水 宏樹 <hshimi...@yahoo.co.jp>:
> 皆さん
>
> 金曜の晩までにうちから持ち出し可能なIB機材をリストアップします。金曜の打ち合わせ時に参考にして下さい。
>
> 清水
>
> --
>
>
--
Hiroyuki Sato
清水さんよろしく御願いします。
鈴木さん・皆さん
手順少しだけ追記しました。
Windowsをあまり使わないので、PowerShellがよくわからないのと
SMBのサーバを構築するところがよくわかりません。
参考文献(1)のまま作業
ドライバをダブルクリックしてインストール
デバイスの設定は、デバイスマネージャで実施
Step 1 Display the Device Manager and expand “Network adapters”.
Step 2. Right-click on the Mellanox ConnectX VPI network adapter
and left-click Properties. Select the Port Protocol tab
from the Properties sheet.
10, SMBの設定
参考文献(4)を参考に
(1) サブネットマネージャ
デフォルトのはログの設定?が間違えているらしい。
SC.EXE delete OpenSM
New-Service -Name “OpenSM” -BinaryPathName “`”C:\Program
Files\Mellanox\MLNX_VPI\ IB\Tools\opensm.exe`” --service -L 128”
-DisplayName “OpenSM” -Description “OpenSM” - StartupType Automatic
Start-Service OpenSM
複数ポートを使うときは同じ資料にポート毎にSMを起動する方法が書かれている
(2) ibstatでポートの状態を確認
(3) IPアドレスの設定
Set-NetIPInterface -InterfaceAlias RDMA1 -DHCP Disabled
Remove-NetIPAddress -InterfaceAlias RDMA1 -AddressFamily IPv4
-Confirm:$false
New-NetIPAddress -InterfaceAlias RDMA1 -AddressFamily IPv4
-IPv4Address 192.168.1.10 -PrefixLength 24 -Type Unicast
Set-DnsClientServerAddress -InterfaceAlias RDMA1 -ServerAddresses
192.168.1.2
(4) ネットワーク設定の確認
Get-NetOffloadGlobalSetting | Select NetworkDirect
Get-NetAdapterRDMA
Get-NetAdapterHardwareInfo
(5) SMB設定の確認(クライアント側)
Get-SmbClientConfiguration | Select EnableMultichannel
Get-SmbClientNetworkInterface
(6) SMB設定の確認(サーバ側)
Get-SmbServerConfiguration | Select EnableMultichannel
Get-SmbServerNetworkInterface
netstat.exe -xan | ? {$_ -match "445"}
(7) SMBコネクションの確認
Get-SmbConnection
Get-SmbMultichannelConnection
netstat.exe -xan | ? {$_ -match "445"}
(8) パフォーマンス(別途確認)
有効・無効の設定は参考文献(5)が参考になる。
11, 参考資料
(1) Mellanox WinOF for Windows Server 2012 Quick Start Guide
http://www.mellanox.com/related-docs/prod_software/Mellanox_WinOF_for_Windows_Server_2012_Quick_Start_Guide.pdf
(2) Windows 8 あまり検証されていなさそうなネタ （Infiniband）
http://heroshima.jp/matsu/windows-8-あまり検証されていなさそうなネタ-（infiniband）
(3) SMB Direct (SMB over RDMA)
http://d.hatena.ne.jp/takaochan/20120716/1342448120
(4) Deploying Windows Server 2012 with SMB Direct over Mellanox
InfiniBand End-to-End Interconnect Solutions
http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
(5) SMB ダイレクトを使用してファイル サーバーのパフォーマンスを向上させる
http://technet.microsoft.com/ja-jp/library/jj134210.aspx
(6) Windows Server 2012 のファイル サーバーに SMB 3.0 の新機能
http://support.microsoft.com/kb/2709568/ja
(7) [MS-SMB2]: Server Message Block (SMB) Protocol Versions 2 and 3
http://msdn.microsoft.com/en-us/library/cc246482(prot.20).aspx
http://www.starwindsoftware.com/high-performance-ram-disk-emulator
2012年11月6日 6:19 清水 宏樹 <hshimi...@yahoo.co.jp>:
> 皆さん
>
> 金曜の晩までにうちから持ち出し可能なIB機材をリストアップします。金曜の打ち合わせ時に参考にして下さい。
>
> 清水
>
> --
>
>
--
Hiroyuki Sato
Hiroyuki Sato
Nov 5, 2012, 11:27:50 PM11/5/12
to ibh...@googlegroups.com
鈴木様
佐藤です。
ご連絡をありがとうございます。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.2.pdf
を見る限り色々なコマンドがWindows Server 2012でも入っているようです。
ibv_devinfoは書いてありませんがibstatusなどがあるので問題ないと思います。
みんな似たようなコマンドで使いこなせておりません。
2012年11月5日 23:26 @hanakara_milk <mekem...@gmail.com>:
> --
>
>
--
Hiroyuki Sato
佐藤です。
ご連絡をありがとうございます。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.2.pdf
を見る限り色々なコマンドがWindows Server 2012でも入っているようです。
ibv_devinfoは書いてありませんがibstatusなどがあるので問題ないと思います。
みんな似たようなコマンドで使いこなせておりません。
2012年11月5日 23:26 @hanakara_milk <mekem...@gmail.com>:
>
>
--
Hiroyuki Sato
@hanakara_milk
Nov 6, 2012, 10:26:07 AM11/6/12
to ibh...@googlegroups.com
お疲れ様です、@hanakara_milkこと鈴木です。
smbサーバーについては、確か・・・ですが、それほど気にせず、下手をすると、
\\WS2012\c$とかでアクセスしてもsmbアクセスになる気がしました。
もしダメなら、サーバーマネージャーの役割の追加と削除でファイル共有機能を
追加する方向で大丈夫だと思いますが、一応、確認しておきます。
PowerShellは、今回に向けて覚えるのは、私も辛いので、なんとか全部GUIで
がんばる方向で良いかと思いますが、smb3.0のマルチセッション数の変更に
もしかしたら必要になるかもしれませんが、一応、その辺の資料はちょっと
確認しておきます。
2012年11月6日火曜日 7時41分04秒 UTC+9 Hiroyuki Sato:
smbサーバーについては、確か・・・ですが、それほど気にせず、下手をすると、
\\WS2012\c$とかでアクセスしてもsmbアクセスになる気がしました。
もしダメなら、サーバーマネージャーの役割の追加と削除でファイル共有機能を
追加する方向で大丈夫だと思いますが、一応、確認しておきます。
PowerShellは、今回に向けて覚えるのは、私も辛いので、なんとか全部GUIで
がんばる方向で良いかと思いますが、smb3.0のマルチセッション数の変更に
もしかしたら必要になるかもしれませんが、一応、その辺の資料はちょっと
確認しておきます。
2012年11月6日火曜日 7時41分04秒 UTC+9 Hiroyuki Sato:
Hiroyuki Sato
Nov 7, 2012, 5:27:26 AM11/7/12
to ibh...@googlegroups.com
お疲れさまです。
佐藤です。
SMBDirectのGUI設定、マニュアルが無いんですよね。
全部PowerShellです。
この機会にPowerShellを覚えろという啓示だと思って、
簡単な使い方だけは覚えたいと思います。
ところでどなたかrsocketに興味がある人いますかね？
https://www.openfabrics.org/ofa-documents/doc_download/495-rsockets.html
2012年11月7日 0:26 @hanakara_milk <mekem...@gmail.com>:
> --
>
>
--
Hiroyuki Sato
佐藤です。
SMBDirectのGUI設定、マニュアルが無いんですよね。
全部PowerShellです。
この機会にPowerShellを覚えろという啓示だと思って、
簡単な使い方だけは覚えたいと思います。
ところでどなたかrsocketに興味がある人いますかね？
https://www.openfabrics.org/ofa-documents/doc_download/495-rsockets.html
2012年11月7日 0:26 @hanakara_milk <mekem...@gmail.com>:
>
>
--
Hiroyuki Sato
@hanakara_milk
Nov 7, 2012, 11:33:47 AM11/7/12
to ibh...@googlegroups.com
お疲れ様です、@hanakara_milkこと鈴木です。
ちょっと確認してましたが、佐藤さんの想定どおり、確かにRDMA通信を行うための設定は、どう
もPowerShellっぽく、GUIの画面では設定できない感じでした。
MellanoxにあるDeploying Windows Server 2012 with SMB Direct over Mellanox InfiniBand
End-to-End Interconnect Solutionsの資料が今のところ、一番、わかりやすいかもしれません。
当日は、このホワイトペーパー通りに作業ですかねー。
このホワイトペーパーは、以前、佐藤さんのほうで、参考としてリンクに挙げてもらっているヤツ
です。
http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
それから、やはり既に挙げてもらっている以下のURLの資料あたりですねー。
http://technet.microsoft.com/ja-jp/library/jj134210.aspx
すみません、期待させるようなこと言ってしまって｡･ﾟ･(ﾉ∀`)･ﾟ･｡
2012年11月7日水曜日 19時27分27秒 UTC+9 Hiroyuki Sato:
ちょっと確認してましたが、佐藤さんの想定どおり、確かにRDMA通信を行うための設定は、どう
もPowerShellっぽく、GUIの画面では設定できない感じでした。
MellanoxにあるDeploying Windows Server 2012 with SMB Direct over Mellanox InfiniBand
End-to-End Interconnect Solutionsの資料が今のところ、一番、わかりやすいかもしれません。
当日は、このホワイトペーパー通りに作業ですかねー。
このホワイトペーパーは、以前、佐藤さんのほうで、参考としてリンクに挙げてもらっているヤツ
です。
http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
それから、やはり既に挙げてもらっている以下のURLの資料あたりですねー。
http://technet.microsoft.com/ja-jp/library/jj134210.aspx
すみません、期待させるようなこと言ってしまって｡･ﾟ･(ﾉ∀`)･ﾟ･｡
2012年11月7日水曜日 19時27分27秒 UTC+9 Hiroyuki Sato:
Hiroyuki Sato
Nov 7, 2012, 5:28:42 PM11/7/12
to ibh...@googlegroups.com
鈴木様
佐藤です。
事前検証ありがとうございます。
SMBDirectのことは、こちらのドキュメントにもまとまっているようです。
ほぼホワイトペーパーと同じことが書いてあります。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.2.pdf
私は元々コマンドラインの方がすきなので、PowerShellでも問題ないです。
PowerShellなんとなくわかるんですが、| ?ってのが何だったかなと
ちょっと調べておきたいと思います。
(9) WinOF VPI for Windows User Manual Rev 4.2
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.2.pdf
2012年11月8日 1:33 @hanakara_milk <mekem...@gmail.com>:
> --
>
>
--
Hiroyuki Sato
佐藤です。
事前検証ありがとうございます。
SMBDirectのことは、こちらのドキュメントにもまとまっているようです。
ほぼホワイトペーパーと同じことが書いてあります。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.2.pdf
私は元々コマンドラインの方がすきなので、PowerShellでも問題ないです。
PowerShellなんとなくわかるんですが、| ?ってのが何だったかなと
ちょっと調べておきたいと思います。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.2.pdf
2012年11月8日 1:33 @hanakara_milk <mekem...@gmail.com>:
> お疲れ様です、@hanakara_milkこと鈴木です。
>
> ちょっと確認してましたが、佐藤さんの想定どおり、確かにRDMA通信を行うための設定は、どう
> もPowerShellっぽく、GUIの画面では設定できない感じでした。
>
> MellanoxにあるDeploying Windows Server 2012 with SMB Direct over Mellanox
> InfiniBand
> End-to-End Interconnect Solutionsの資料が今のところ、一番、わかりやすいかもしれません。
> 当日は、このホワイトペーパー通りに作業ですかねー。
>
> このホワイトペーパーは、以前、佐藤さんのほうで、参考としてリンクに挙げてもらっているヤツ
> です。
> http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
>
> それから、やはり既に挙げてもらっている以下のURLの資料あたりですねー。
> http://technet.microsoft.com/ja-jp/library/jj134210.aspx
>
> すみません、期待させるようなこと言ってしまって。・゜・(ノ∀`)・゜・。
>
> ちょっと確認してましたが、佐藤さんの想定どおり、確かにRDMA通信を行うための設定は、どう
> もPowerShellっぽく、GUIの画面では設定できない感じでした。
>
> MellanoxにあるDeploying Windows Server 2012 with SMB Direct over Mellanox
> InfiniBand
> End-to-End Interconnect Solutionsの資料が今のところ、一番、わかりやすいかもしれません。
> 当日は、このホワイトペーパー通りに作業ですかねー。
>
> このホワイトペーパーは、以前、佐藤さんのほうで、参考としてリンクに挙げてもらっているヤツ
> です。
> http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
>
> それから、やはり既に挙げてもらっている以下のURLの資料あたりですねー。
> http://technet.microsoft.com/ja-jp/library/jj134210.aspx
>
>
>
--
Hiroyuki Sato
Message has been deleted
@hanakara_milk
Nov 12, 2012, 5:43:28 AM11/12/12
to ibh...@googlegroups.com, 清水 宏樹
お疲れ様です、@hanakara_milkこと鈴木です。
昼過ぎに投稿した内容がなぜか消えてしまっているので、取り急ぎToDoだけ再度投稿しておきます。
●Altimaさん依頼事項
・Infiniband関係の機材のOTTOさんに向けて着払いで発送依頼
※なお、清水さんから提供頂いた機材を全部利用する予定
・HCAのファームウェアを2.9以降にアップデート依頼
※ファームのアップデートをミスるとHCAが死ぬのでハッカソンでは行わない方針
・スポンサー宣伝の時間をKSGさんとAltimaさんでそれぞれ10分ずつ
●作業の共有方法とモニタ枚数を決める
・だんなと鈴木で1枚ずつ持ち込みは確定（あくまで初期作業用の小さなモニタ）
●Connpasの更新（以下、更新内容）
・確定したアジェンダと時間割
・入退館・退館等の注意等
※ハッカソン当時は、営業中の執務室があるので、入館、退館時は静粛に速やかに退出、特に、退館時等は、出口等にたむろして大きな声で話しながらになりがち
・遅刻厳禁、入退館にはOTTOさんのアテンドが必要なので。加えて現地集合とアテンドによるJR神田駅集合の集合時間の周知
昼過ぎに投稿した内容がなぜか消えてしまっているので、取り急ぎToDoだけ再度投稿しておきます。
●Altimaさん依頼事項
・Infiniband関係の機材のOTTOさんに向けて着払いで発送依頼
※なお、清水さんから提供頂いた機材を全部利用する予定
・HCAのファームウェアを2.9以降にアップデート依頼
※ファームのアップデートをミスるとHCAが死ぬのでハッカソンでは行わない方針
・スポンサー宣伝の時間をKSGさんとAltimaさんでそれぞれ10分ずつ
●作業の共有方法とモニタ枚数を決める
・だんなと鈴木で1枚ずつ持ち込みは確定（あくまで初期作業用の小さなモニタ）
●Connpasの更新（以下、更新内容）
・確定したアジェンダと時間割
・入退館・退館等の注意等
※ハッカソン当時は、営業中の執務室があるので、入館、退館時は静粛に速やかに退出、特に、退館時等は、出口等にたむろして大きな声で話しながらになりがち
・遅刻厳禁、入退館にはOTTOさんのアテンドが必要なので。加えて現地集合とアテンドによるJR神田駅集合の集合時間の周知
清水 宏樹
Nov 12, 2012, 7:52:30 AM11/12/12
to @hanakara_milk, ibh...@googlegroups.com
鈴木さん、
連絡、ありがとうございます。
依頼頂いた件につき、了解しました。
取り急ぎの連絡まで。
清水
----- Original Message -----
From: "@hanakara_milk" <mekem...@gmail.com>
To: ibh...@googlegroups.com
Cc: 清水 宏樹 <hshimi...@yahoo.co.jp>
Date: 2012/11/12, Mon 19:43
Subject: Re: Re: [ibhack:42] Re: 勉強会ネタ
@hanakara_milk
Nov 12, 2012, 8:12:08 AM11/12/12
to ibh...@googlegroups.com, @hanakara_milk, 清水 宏樹
清水さま
お疲れ様です、@hanakara_milkこと鈴木です。
Altimaさんのほうで、お貸しいただける機材をどのように持ち込むか不明だったのですが、
スイッチがそれなりの大きさであることを考えると、当日、人手による持ち込みは、大変
そうなので、四ッ谷さんから、着払いで機材を前日までに送ってもらうのはどうかという
提案を承けてのことでした。
FDRのHCAは利用するか微妙なところですが、今回のハッカソンで利用するInfinibandに
絡む機材は、参加者やスタッフ等の持ち込み機材を用いず、Altimaさんからお貸しいただ
ける機材にて一元管理した方が良いとの結論になりました。
なお、ハッカソン終了後、機材は撤収作業時に元箱に梱包し、Altimaさん宛ての発送にて
ご返却という想定でした。
Altimaさんの意向も聞いた上で最終的に決めるつもりでしたが、ご都合のよろしい手段を
お取りいただければと思います。
以上、よろしくお願いいたします。
2012年11月12日月曜日 21時52分32秒 UTC+9 Hiroky0515:
お疲れ様です、@hanakara_milkこと鈴木です。
Altimaさんのほうで、お貸しいただける機材をどのように持ち込むか不明だったのですが、
スイッチがそれなりの大きさであることを考えると、当日、人手による持ち込みは、大変
そうなので、四ッ谷さんから、着払いで機材を前日までに送ってもらうのはどうかという
提案を承けてのことでした。
FDRのHCAは利用するか微妙なところですが、今回のハッカソンで利用するInfinibandに
絡む機材は、参加者やスタッフ等の持ち込み機材を用いず、Altimaさんからお貸しいただ
ける機材にて一元管理した方が良いとの結論になりました。
なお、ハッカソン終了後、機材は撤収作業時に元箱に梱包し、Altimaさん宛ての発送にて
ご返却という想定でした。
Altimaさんの意向も聞いた上で最終的に決めるつもりでしたが、ご都合のよろしい手段を
お取りいただければと思います。
以上、よろしくお願いいたします。
2012年11月12日月曜日 21時52分32秒 UTC+9 Hiroky0515:
清水 宏樹
Nov 12, 2012, 10:05:06 AM11/12/12
to ibh...@googlegroups.com
--
清水 宏樹
Nov 12, 2012, 10:09:43 AM11/12/12
to ibh...@googlegroups.com
鈴木さん
お疲れ様です。清水です。
IB機材は、全てアルティマの機材とのことで了解しました。
こちらは、連絡頂いた内容で特に問題ありません。
前日着で四ツ谷さん宛に送付というかたちで、送付させて頂きます。
FDR HCAは使用しないとのことすが、40GE NICは必要に
なりますでしょうか？
40GE NICは必要とのことであれば、先にFDR HCAのファームを
変更し、40GE NICとして使用出来るようにしておこうかと考えて
います。
宜しくお願いします。
Cc: "@hanakara_milk" <mekem...@gmail.com>; 清水 宏樹 <hshimi...@yahoo.co.jp>
Date: 2012/11/12, Mon 22:12
Subject: Re: Re: [ibhack:47] Re: 勉強会ネタ
・ Infiniband関係の機材のOTTOさんに向けて着払いで 発送依頼
※なお、清水さんから提供頂いた機材を全部利用する予定
・HCAのファームウェアを2.9以降にアップデート依頼
※ ファームのアップデートをミスるとHCAが死ぬのでハッカソンで は行わない方針
・ スポンサー宣伝の時間をKSGさんとAltimaさんでそれぞれ 10分ずつ
●作業の共有方法とモニタ枚数を決める
・だんなと鈴木で1枚ずつ持ち込みは確定（ あくまで初期作業用の小さなモニタ）
●Connpasの更新（以下、更新内容）
・確定したアジェンダと時間割
・入退館・退館等の注意等
※ハッカソン当時は、営業中の執務室があるので、入館、 退館時は静粛に速やかに退出、特に、退館時等は、 出口等にたむろして大きな声で話しながらになりがち
・遅刻厳禁、入退館にはOTTOさんのアテンドが必要なので。 加えて現地集合とアテンドによるJR神田駅集合の集合時間の周知
--
鈴木 照夫
Nov 12, 2012, 10:58:39 AM11/12/12
to ibh...@googlegroups.com
清水さま
お疲れ様です、@hanakara_milkこと鈴木です。
遅い時間に大変申し訳御座いません。
40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
すでしょうか？
それから、FDRのInfinibandと40GbE NICは排他的にファームで切り替えになる、と言う認識であって
いますでしょうか？
smb directの確認はQDRのほうでもできますので、もし時間があれば40GbE NICモードの速度を体感
すると言うのも非常に魅力的ですが、時間的にどうなるか分からない微妙なラインになります。
色々、質問ばかりですみませんが、よろしくお願いいたします。
お疲れ様です、@hanakara_milkこと鈴木です。
遅い時間に大変申し訳御座いません。
40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
すでしょうか？
それから、FDRのInfinibandと40GbE NICは排他的にファームで切り替えになる、と言う認識であって
いますでしょうか？
smb directの確認はQDRのほうでもできますので、もし時間があれば40GbE NICモードの速度を体感
すると言うのも非常に魅力的ですが、時間的にどうなるか分からない微妙なラインになります。
色々、質問ばかりですみませんが、よろしくお願いいたします。
--
清水 宏樹
Nov 12, 2012, 9:42:43 PM11/12/12
to ibh...@googlegroups.com
鈴木様
清水です。
ご質問の件、下記に回答します。
40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
すでしょうか？
それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
すでしょうか？
⇒ スイッチ、SMともに不要となり、NICのみでPeer-to-Peerで評価可能です。
40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
すでしょうか？
⇒ 排他となります。変更方法はファームの変更ではなく、Windows2012 上から使用するプロトコルを
選択するかたちでした。ですので、現地で必要に応じて対応を行いたいと思います。
宜しくお願いします。
--
@hanakara_milk
Nov 12, 2012, 11:03:51 PM11/12/12
to ibh...@googlegroups.com, 清水 宏樹
清水さま
お疲れ様です、@hanakara_milkこと鈴木です。
ご回答をいただき、誠にありがとうございます。可能な限り時間を作らせていただき、
是非40GbEのほうにも挑戦してみたいと思いますので、FDRのHCAもお持ちいただけ
ればと存じます。
誠にお手数をおかけ致しますが、よろしくお願いいたします。
2012年11月13日火曜日 11時42分49秒 UTC+9 Hiroky0515:
お疲れ様です、@hanakara_milkこと鈴木です。
ご回答をいただき、誠にありがとうございます。可能な限り時間を作らせていただき、
是非40GbEのほうにも挑戦してみたいと思いますので、FDRのHCAもお持ちいただけ
ればと存じます。
誠にお手数をおかけ致しますが、よろしくお願いいたします。
2012年11月13日火曜日 11時42分49秒 UTC+9 Hiroky0515:
Danna
Nov 13, 2012, 11:05:20 PM11/13/12
to ibh...@googlegroups.com
清水様
お世話になっております、
@wakadannacomです。
http://connpass.com/event/1305/
先にConnpassを更新いたしましたが、
株式会社アルティマ様のご紹介時間を10分程度を
ご用意させて頂きました。
IB以外の取り扱い製品等の紹介などご自由にお使いください
もしデモンストレーションなど時間が足りないようでしたら、
時間の延長や途中休憩前後などスケジュールは柔軟に変更致します。
お手数をお掛けしますが、
何卒よろしくお願い致します
(2012/11/13 13:03), @hanakara_milk wrote:
> 清水さま
>
> お疲れ様です、@hanakara_milkこと鈴木です。
>
> ご回答をいただき、誠にありがとうございます。可能な限り時間を作らせていただき、
> 是非40GbEのほうにも挑戦してみたいと思いますので、FDRのHCAもお持ちいただけ
> ればと存じます。
>
> 誠にお手数をおかけ致しますが、よろしくお願いいたします。
>
>
>
> 2012年11月13日火曜日 11時42分49秒 UTC+9 Hiroky0515:
>>
>>
>> 鈴木様
>>
>> 清水です。
>>
>> ご質問の件、下記に回答します。
>>
>>
>> 40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
>> それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
>> すでしょうか？
>> ⇒ スイッチ、SMともに不要となり、NICのみでPeer-to-Peerで評価可能です。
>>
>> 40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
>> それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
>> すでしょうか？
>> ⇒ 排他となります。変更方法はファームの変更ではなく、Windows2012 上から使用するプロトコルを
>> 選択するかたちでした。ですので、現地で必要に応じて対応を行いたいと思います。
>>
>> 宜しくお願いします。
>>
>>
>>
>>
>> ----- Original Message -----
>> *From:* 鈴木 照夫 <mekem...@gmail.com <javascript:>>
>> *To:* ibh...@googlegroups.com <javascript:>
>> *Date:* 2012/11/13, Tue 00:58
>> *Subject:* Re: Re: [ibhack:49] Re: 勉強会ネタ
>> *To:* ibh...@googlegroups.com <javascript:>
>> *Cc:* "@hanakara_milk" <mekem...@gmail.com <javascript:>>; 清水 宏樹 <
>> hshimi...@yahoo.co.jp <javascript:>>
>> *Date:* 2012/11/12, Mon 22:12
>> *Subject:* Re: Re: [ibhack:47] Re: 勉強会ネタ
>> *To:* ibh...@googlegroups.com
>> *Cc:* 清水 宏樹 <hshimi...@yahoo.co.jp>
>> *Date:* 2012/11/12, Mon 19:43
>> *Subject:* Re: Re: [ibhack:42] Re: 勉強会ネタ
お世話になっております、
@wakadannacomです。
http://connpass.com/event/1305/
先にConnpassを更新いたしましたが、
株式会社アルティマ様のご紹介時間を10分程度を
ご用意させて頂きました。
IB以外の取り扱い製品等の紹介などご自由にお使いください
もしデモンストレーションなど時間が足りないようでしたら、
時間の延長や途中休憩前後などスケジュールは柔軟に変更致します。
お手数をお掛けしますが、
何卒よろしくお願い致します
(2012/11/13 13:03), @hanakara_milk wrote:
> 清水さま
>
> お疲れ様です、@hanakara_milkこと鈴木です。
>
> ご回答をいただき、誠にありがとうございます。可能な限り時間を作らせていただき、
> 是非40GbEのほうにも挑戦してみたいと思いますので、FDRのHCAもお持ちいただけ
> ればと存じます。
>
> 誠にお手数をおかけ致しますが、よろしくお願いいたします。
>
>
>
> 2012年11月13日火曜日 11時42分49秒 UTC+9 Hiroky0515:
>>
>>
>> 鈴木様
>>
>> 清水です。
>>
>> ご質問の件、下記に回答します。
>>
>>
>> 40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
>> それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
>> すでしょうか？
>> ⇒ スイッチ、SMともに不要となり、NICのみでPeer-to-Peerで評価可能です。
>>
>> 40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
>> それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
>> すでしょうか？
>> ⇒ 排他となります。変更方法はファームの変更ではなく、Windows2012 上から使用するプロトコルを
>> 選択するかたちでした。ですので、現地で必要に応じて対応を行いたいと思います。
>>
>> 宜しくお願いします。
>>
>>
>>
>>
>> ----- Original Message -----
>> *To:* ibh...@googlegroups.com <javascript:>
>> *Date:* 2012/11/13, Tue 00:58
>> *Subject:* Re: Re: [ibhack:49] Re: 勉強会ネタ
>>
>> 清水さま
>>
>> お疲れ様です、@hanakara_milkこと鈴木です。
>> 遅い時間に大変申し訳御座いません。
>>
>> 40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
>> それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
>> すでしょうか？
>> それから、FDRのInfinibandと40GbE NICは排他的にファームで切り替えになる、と言う認識であって
>> いますでしょうか？
>>
>> smb directの確認はQDRのほうでもできますので、もし時間があれば40GbE NICモードの速度を体感
>> すると言うのも非常に魅力的ですが、時間的にどうなるか分からない微妙なラインになります。
>>
>> 色々、質問ばかりですみませんが、よろしくお願いいたします。
>>
>>
>>
>>
>>
>> 2012年11月13日 0:09 清水 宏樹 <hshimi...@yahoo.co.jp <javascript:>>:
>> 清水さま
>>
>> お疲れ様です、@hanakara_milkこと鈴木です。
>> 遅い時間に大変申し訳御座いません。
>>
>> 40GbE NICのモードで動作させる場合、スイッチは36ポートのヤツを介して通信できるのでしょうか？
>> それとも直結になりますでしょうか？またその場合、SMはなくても通信できると言う認識であっていま
>> すでしょうか？
>> それから、FDRのInfinibandと40GbE NICは排他的にファームで切り替えになる、と言う認識であって
>> いますでしょうか？
>>
>> smb directの確認はQDRのほうでもできますので、もし時間があれば40GbE NICモードの速度を体感
>> すると言うのも非常に魅力的ですが、時間的にどうなるか分からない微妙なラインになります。
>>
>> 色々、質問ばかりですみませんが、よろしくお願いいたします。
>>
>>
>>
>>
>>
>>
>>
>> 鈴木さん
>>
>> お疲れ様です。清水です。
>>
>> IB機材は、全てアルティマの機材とのことで了解しました。
>> こちらは、連絡頂いた内容で特に問題ありません。
>> 前日着で四ツ谷さん宛に送付というかたちで、送付させて
>> 頂きます。
>>
>> FDR HCAは使用しないとのことすが、40GE NICは必要に
>> なりますでしょうか？
>> 40GE NICは必要とのことであれば、先にFDR HCAのファームを
>> 変更し、40GE NICとして使用出来るようにしておこうかと考えて
>> います。
>>
>> 宜しくお願いします。
>>
>>
>>
>>
>> ----- Original Message -----
>> *From:* "@hanakara_milk" <mekem...@gmail.com <javascript:>>
>>
>> 鈴木さん
>>
>> お疲れ様です。清水です。
>>
>> IB機材は、全てアルティマの機材とのことで了解しました。
>> こちらは、連絡頂いた内容で特に問題ありません。
>> 前日着で四ツ谷さん宛に送付というかたちで、送付させて
>> 頂きます。
>>
>> FDR HCAは使用しないとのことすが、40GE NICは必要に
>> なりますでしょうか？
>> 40GE NICは必要とのことであれば、先にFDR HCAのファームを
>> 変更し、40GE NICとして使用出来るようにしておこうかと考えて
>> います。
>>
>> 宜しくお願いします。
>>
>>
>>
>>
>> ----- Original Message -----
>> *To:* ibh...@googlegroups.com <javascript:>
>> *Cc:* "@hanakara_milk" <mekem...@gmail.com <javascript:>>; 清水 宏樹 <
>> hshimi...@yahoo.co.jp <javascript:>>
>> *Date:* 2012/11/12, Mon 22:12
>> *Subject:* Re: Re: [ibhack:47] Re: 勉強会ネタ
>>
>> 清水さま
>>
>> お疲れ様です、@hanakara_milkこと鈴木です。
>>
>> Altimaさんのほうで、お貸しいただける機材をどのように持ち込むか不明だったのですが、
>> スイッチがそれなりの大きさであることを考えると、当日、人手による持ち込みは、大変
>> そうなので、四ッ谷さんから、着払いで機材を前日までに送ってもらうのはどうかという
>> 提案を承けてのことでした。
>> FDRのHCAは利用するか微妙なところですが、今回のハッカソンで利用するInfinibandに
>> 絡む機材は、参加者やスタッフ等の持ち込み機材を用いず、Altimaさんからお貸しいただ
>> ける機材にて一元管理した方が良いとの結論になりました。
>>
>> なお、ハッカソン終了後、機材は撤収作業時に元箱に梱包し、Altimaさん宛ての発送にて
>> ご返却という想定でした。
>>
>> Altimaさんの意向も聞いた上で最終的に決めるつもりでしたが、ご都合のよろしい手段を
>> お取りいただければと思います。
>>
>> 以上、よろしくお願いいたします。
>>
>> 2012年11月12日月曜日 21時52分32秒 UTC+9 Hiroky0515:
>>
>>
>>
>> 鈴木さん、
>>
>> 連絡、ありがとうございます。
>>
>> 依頼頂いた件につき、了解しました。
>>
>> 取り急ぎの連絡まで。
>>
>> 清水
>>
>>
>> ----- Original Message -----
>> *From:* "@hanakara_milk" <mekem...@gmail.com>
>> 清水さま
>>
>> お疲れ様です、@hanakara_milkこと鈴木です。
>>
>> Altimaさんのほうで、お貸しいただける機材をどのように持ち込むか不明だったのですが、
>> スイッチがそれなりの大きさであることを考えると、当日、人手による持ち込みは、大変
>> そうなので、四ッ谷さんから、着払いで機材を前日までに送ってもらうのはどうかという
>> 提案を承けてのことでした。
>> FDRのHCAは利用するか微妙なところですが、今回のハッカソンで利用するInfinibandに
>> 絡む機材は、参加者やスタッフ等の持ち込み機材を用いず、Altimaさんからお貸しいただ
>> ける機材にて一元管理した方が良いとの結論になりました。
>>
>> なお、ハッカソン終了後、機材は撤収作業時に元箱に梱包し、Altimaさん宛ての発送にて
>> ご返却という想定でした。
>>
>> Altimaさんの意向も聞いた上で最終的に決めるつもりでしたが、ご都合のよろしい手段を
>> お取りいただければと思います。
>>
>> 以上、よろしくお願いいたします。
>>
>> 2012年11月12日月曜日 21時52分32秒 UTC+9 Hiroky0515:
>>
>>
>>
>> 鈴木さん、
>>
>> 連絡、ありがとうございます。
>>
>> 依頼頂いた件につき、了解しました。
>>
>> 取り急ぎの連絡まで。
>>
>> 清水
>>
>>
>> ----- Original Message -----
>> *To:* ibh...@googlegroups.com
>> *Cc:* 清水 宏樹 <hshimi...@yahoo.co.jp>
>> *Date:* 2012/11/12, Mon 19:43
>> *Subject:* Re: Re: [ibhack:42] Re: 勉強会ネタ
清水 宏樹
Nov 14, 2012, 3:46:52 AM11/14/12
to ibh...@googlegroups.com
wakadannacoscomさん
会社紹介の時間まで作って頂き、ありがとうございます。
当日 私は伺えないのですが、森で対応させてもらいます。
清水
--
@hanakara_milk
Nov 15, 2012, 9:53:05 AM11/15/12
to ibh...@googlegroups.com, 清水 宏樹
清水さま
もし覚えていたら教えていただきたいことがございます。
ファームウェアのアップデートを行っていただいた場合、ファームのバージョンはいくつに
なっているでしょうか？
うちの2枚のConnectX-2でちょっと試したのですが、以下の違いでRDMAが有効になるもの
と、ならないものがありました。
【NGの場合】
vendor_part_id=26428
hw_ver=0xb0
fw_ver=2.09.1000 ←RDMAを使うのに最低必要と言われているファームバージョン
【OKの場合】
vendor_part_id=26428
hw_ver=0xb0
fw_ver=2.10.0720 ←RDMAを使うのに最低必要と言われているファームバージョンより新しい
ちなみに一般公開されているファームウェアは、2.09.1000までベータ版で2.09.8350です。
RDMAがOKだったHCAは中古で手に入れたものなのですが、これは、Mellanoxの保守契約を
結んでいるパートナー等がユーザIDとパスワードでログインした先で落とせるファームのバー
ジョンなんでしょうか？
場合によっては、当日、ファームウェアのアップデートを行わないと、行けない可能性が
あるかもなので、一応確認させていただきたいと思いMLに投げました。
取り急ぎ、ご連絡まで。
2012年11月13日火曜日 11時42分49秒 UTC+9 Hiroky0515:
もし覚えていたら教えていただきたいことがございます。
ファームウェアのアップデートを行っていただいた場合、ファームのバージョンはいくつに
なっているでしょうか？
うちの2枚のConnectX-2でちょっと試したのですが、以下の違いでRDMAが有効になるもの
と、ならないものがありました。
【NGの場合】
vendor_part_id=26428
hw_ver=0xb0
fw_ver=2.09.1000 ←RDMAを使うのに最低必要と言われているファームバージョン
【OKの場合】
vendor_part_id=26428
hw_ver=0xb0
fw_ver=2.10.0720 ←RDMAを使うのに最低必要と言われているファームバージョンより新しい
ちなみに一般公開されているファームウェアは、2.09.1000までベータ版で2.09.8350です。
RDMAがOKだったHCAは中古で手に入れたものなのですが、これは、Mellanoxの保守契約を
結んでいるパートナー等がユーザIDとパスワードでログインした先で落とせるファームのバー
ジョンなんでしょうか？
場合によっては、当日、ファームウェアのアップデートを行わないと、行けない可能性が
あるかもなので、一応確認させていただきたいと思いMLに投げました。
取り急ぎ、ご連絡まで。
2012年11月13日火曜日 11時42分49秒 UTC+9 Hiroky0515:
Yusuke Mori
Nov 15, 2012, 6:41:50 PM11/15/12
to ibh...@googlegroups.com
鈴木様
森＠アルティマです。
今回お貸出しのHCAは ConnectX-3 でファームのバージョンはすべて2.11.500です。
HCAのファームアップデートに関しては保守契約は必要ないですので、
以下のサイトからダウンロードできます。
http://www.mellanox.com/supportdownloader/
よろしく御願いします。
Message has been deleted
Yusuke Mori
Nov 16, 2012, 4:56:30 AM11/16/12
to gonnosuke yotuya, ibh...@googlegroups.com
四谷様
ご連絡有難うございます。
SW、１Uの割にはいがいに重いですね。。
因みに今回のスイッチは４０GbEでも動くライセンス入れてますので
切り替えていじってみるのも面白そうですね。
ではでは明日よろしく御願いします。
森
| gonnosuke yotuya <gon.y...@gmail.com>
2012/11/16 12:00 |
|
|
アルティマ 森様
無事に部材が到着いたしましたので、ご報告いたします。
さすがにSWは重量ありますね。
当日３Fへ移動させていただきます。
KSG 四谷
2012年11月16日金曜日 8時41分55秒 UTC+9 Yusuke Mori:
@hanakara_milk
Nov 16, 2012, 8:58:37 AM11/16/12
to ibh...@googlegroups.com, mo...@altima.co.jp
森さま
@hanakara_milkこと鈴木でございます。
なるほど、ConnectX-3なんですね、了解いたしました。
ConnectX-2では、どうもSTABLEとして公開されているファームが2.09.1000だ
ったので、もしかしたらーと思い、確認させていただきました。
ありがとうございます。
2012年11月16日金曜日 8時41分55秒 UTC+9 Yusuke Mori:
@hanakara_milkこと鈴木でございます。
なるほど、ConnectX-3なんですね、了解いたしました。
ConnectX-2では、どうもSTABLEとして公開されているファームが2.09.1000だ
ったので、もしかしたらーと思い、確認させていただきました。
ありがとうございます。
2012年11月16日金曜日 8時41分55秒 UTC+9 Yusuke Mori:
Reply all
Reply to author
Forward
0 new messages