仮想マシンから突然default gwが消えた

[ikushin]

金と申します。

仮想マシンから突然default gw(nova-network)が消えてしまい、頭を抱えております。

route addでgatewayを設定しなおしたところ、通信は回復しましたが、原因の調査が必要です。

どなたか、同様の症状についてご存知のかたはいらっしゃいませんでしょうか。

■環境

Ubuntu12.04 + Essex（パッケージ） + KVM

■High Availability Options for Networking

HA Option 1: Multi-host

■Image

CentOS5 のイメージをoz-installで作成

■仮想マシンの/var/log/messages（参考）

dhclientのログが繰り返し出力されるのが気になる

===

Oct  5 11:15:48 xxx dhclient: DHCPREQUEST on eth0 to 255.255.255.255 port 67 (xid=0x1451d099)

Oct  5 11:15:49 xxx dhclient: DHCPACK from 172.31.0.3 (xid=0x1451d099)

Oct  5 11:15:49 xxx dhclient: bound to 172.31.0.5 -- renewal in 52 seconds.

Oct  5 11:16:40 xxx dhclient: DHCPREQUEST on eth0 to 172.31.0.3 port 67 (xid=0x1451d099)

Oct  5 11:17:15 xxx last message repeated 3 times

===

以上、よろしくお願い致します。

[Akira Yoshiyama]

　吉山です。こんばんは。

　Default gateway が消えたというのは、ルーティングテーブルから

・文字通り Default Gateway のルーティングエントリが消えた
・Default Gateway が増えた、又は変更された

のどちらでしょうか？

　それと、Quantum を使っていますか？

2012年10月5日 13:38 ikushin <xuhuan...@gmail.com>:

--
吉山あきら <akirayo...@gmail.com>

[ikushin]

吉山さん

ご返信ありがとうございます。

> ・文字通り Default Gateway のルーティングエントリが消えた 

> ・Default Gateway が増えた、又は変更された 

Default Gateway のルーティングエントリが消えた、になります。Quantumは使っていません。

↓の例で言うと、2番目のエントリが消え去りました。

=====

# netstat -rn

Kernel IP routing table

Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface

172.31.0.0      0.0.0.0         255.255.255.0   U         0 0          0 eth0

0.0.0.0         172.31.0.9      0.0.0.0         UG        0 0          0 eth0

=====

ただ、Default gatewayがらみで、新たな問題がその後発生しました。

起動させた仮想マシンに、Default gatewayが割りあたらなくなりました。

↓のような感じです（関係ないけど169.254.0.0はなんだろう？）。

=====

# netstat -rn

Kernel IP routing table

Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface

172.31.0.0      0.0.0.0         255.255.255.0   U         0 0          0 eth0

169.254.0.0     0.0.0.0         255.255.0.0     U         0 0          0 eth0

====

仮想マシンの起動・停止を繰り返していると、この現象が発生します…

本日の勉強会に参加させていただいたので質問したところ、iptablesの

エントリにゴミが残ってしまうからではないか、というお話でした。

対症療法だけでも分かると助かるのですが……

2012年10月5日金曜日 23時57分27秒 UTC+9 吉山あきら:

[Akira Yoshiyama]

吉山です。こんばんは。

2012年10月6日 20:41 ikushin <xuhuan...@gmail.com>:

>> 吉山さん
>>
>> ご返信ありがとうございます。
>>
>> > ・文字通り Default Gateway のルーティングエントリが消えた
>> > ・Default Gateway が増えた、又は変更された
>>
>> Default Gateway のルーティングエントリが消えた、になります。Quantumは使っていません。
>> ↓の例で言うと、2番目のエントリが消え去りました。
>>
>> =====
>> # netstat -rn
>> Kernel IP routing table
>> Destination Gateway Genmask Flags MSS Window irtt
>> Iface
>> 172.31.0.0 0.0.0.0 255.255.255.0 U 0 0 0
>> eth0
>> 0.0.0.0 172.31.0.9 0.0.0.0 UG 0 0 0
>> eth0
>> =====

　なるほど、難しいですね。

>> ただ、Default gatewayがらみで、新たな問題がその後発生しました。
>> 起動させた仮想マシンに、Default gatewayが割りあたらなくなりました。
>> ↓のような感じです（関係ないけど169.254.0.0はなんだろう？）。
>> =====
>> # netstat -rn
>> Kernel IP routing table
>> Destination Gateway Genmask Flags MSS Window irtt
>> Iface
>> 172.31.0.0 0.0.0.0 255.255.255.0 U 0 0 0
>> eth0
>> 169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0
>> eth0
>> ====

　169.254.0.0 は Metadata API（169.254.169.254）へのルーティングです。

>> 仮想マシンの起動・停止を繰り返していると、この現象が発生します…
>> 本日の勉強会に参加させていただいたので質問したところ、iptablesの
>> エントリにゴミが残ってしまうからではないか、というお話でした。
>>
>> 対症療法だけでも分かると助かるのですが……

　multihost 環境で VM を多数起動して Disk I/O 負荷を上げると、VM の DHCP
リクエストにホストの DHCP レスポンスが得られず、VM のネットワークが切れること
があります。
　ただ、今回のケースはデフォルトルートだけが失われているので、

・DHCP リクエストへのレスポンスは行われている
・DHCP レスポンス中にデフォルトゲートウェイの情報がない

という状態にあるのだと思います。

　そもそも、Nova の DHCP リース期間が標準で１～２分と異様に短いのも問題ですが。

--
吉山あきら <akirayo...@gmail.com>

[Kazuhiro Miyashita]

横から失礼します。

宮下と申します。
以前、この勉強会でOpenFlowコントローラとQuantumについて発表させていただいたものです。

もしかして、NetworkManagerが起動していたりしませんか？
動作していたら止めた方が良いと思います。
解決になるかもしれません。

以上です。

2012年10月6日 20:41 ikushin <xuhuan...@gmail.com>: