4.3⇒4.5にアップデータしたところ、システムVMと管理サーバでSSL通信が不能になってしまった。

[小林良太郎]

いつもお世話になっております。
小林です。

掲題の件、CloudStackのバージョンを4.3⇒4.5に上げた後に
ssvm、cpvm両方とも「disconnect」状態になってしまいました。

システムVMの再作成や管理サーバの再起動を試しましたがダメでした。

システムVMの「/var/log/cloud/cloud.out」には以下のメッセージが出ています。

★ログから抜粋
2016-03-24 04:50:19,055 INFO  [utils.nio.NioClient] (Agent-Selector:null) Connec
ting to 10.1.1.101:8250
2016-03-24 04:50:29,070 ERROR [utils.nio.NioConnection] (Agent-Selector:null) Un
able to initialize the threads.
java.io.IOException: SSL: Fail to init SSL! java.io.IOException: Connection clos
ed with -1 on reading size.
 at com.cloud.utils.nio.NioClient.init(NioClient.java:84)
 at com.cloud.utils.nio.NioConnection.run(NioConnection.java:108)
 at java.lang.Thread.run(Thread.java:679)

NWの状態も確認しました。管理サーバの8250番portとは接続可能な状態です。
netstatとtelnetで確認しました。

★netstatコマンド
root@s-11731-VM:/var/log/cloud# netstat -an |grep 8250 |grep ESTABLISHED
tcp        0      0 10.1.1.114:41919        10.1.1.101:8250         ESTABLISHED
tcp        0      0 10.1.1.114:41920        10.1.1.101:8250         ESTABLISHED
tcp        0      0 10.1.1.114:41925        10.1.1.101:8250         ESTABLISHED
tcp        0      0 10.1.1.114:41931        10.1.1.101:8250         ESTABLISHED
tcp        0      0 10.1.1.114:41904        10.1.1.101:8250         ESTABLISHED
tcp        0      0 10.1.1.114:41924        10.1.1.101:8250         ESTABLISHED
tcp        0      0 10.1.1.114:41901        10.1.1.101:8250         ESTABLISHED

★telnetコマンド
root@s-11731-VM:/var/log/cloud# telnet 10.1.1.101 8250
Trying 10.1.1.101...
Connected to 10.1.1.101.
Escape character is '^]'.


解決方法やヒントをご存知の方がいましたらご教示ください
宜しくお願いします。

[giraffe.forest]

小林さん

中谷です。こんばんは。

管理サーバのJavaのバージョンを教えてください。
以下の事象がある模様です。

https://issues.apache.org/jira/browse/CLOUDSTACK-8519



あと、コードとしては以下でこのログが出力されているようです。

https://github.com/apache/cloudstack/blob/2093c33ebd2a5641c7359f21b1df6b83acf82121/engine/orchestration/src/com/cloud/agent/manager/ClusteredAgentManagerImpl.java

public SocketChannel connectToPeer(final String peerName, final
SocketChannel prevCh) {
　　　　　　　：
SocketChannel ch1 = null;
try {
ch1 = SocketChannel.open(new InetSocketAddress(addr,
Port.value()));
ch1.configureBlocking(true); // make sure we are working
at blocking mode
ch1.socket().setKeepAlive(true);
ch1.socket().setSoTimeout(60 * 1000);
try {
final SSLContext sslContext =
Link.initSSLContext(true);
sslEngine = sslContext.createSSLEngine(ip,
Port.value());
sslEngine.setUseClientMode(true);
sslEngine.setEnabledProtocols(SSLUtils.getSupportedProtocols(sslEngine.getEnabledProtocols()));

Link.doHandshake(ch1, sslEngine, true);
s_logger.info("SSL: Handshake done");
} catch (final Exception e) {
ch1.close();
throw new IOException("SSL: Fail to init SSL! " +
e);★
}


以上です。

--
このメールは Google グループのグループ「日本CloudStackユーザ会」に登録しているユーザーに送られています。
このグループから退会し、グループからのメールの配信を停止するには
cloudstack-j...@googlegroups.com にメールを送信してください。
その他のオプションについては https://groups.google.com/d/optout にアクセスしてください。

[小林良太郎]

 中谷さん

いつも有難うございます。

とりあえずjavaのバージョン確認したところ。1.7でした。

# java -version
java version "1.7.0_95"
OpenJDK Runtime Environment (rhel-2.6.4.0.el6_7-x86_64 u95-b00)
OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)

ソースコードありがとうございます。確認します。

取り急ぎ御礼まで。

[giraffe.forest]

小林さん

中谷です

Javaのバージョンでないなら このkbじゃなさそうですね。

Cloudastack Fail to init SSL で検索するといくつかヒットしましたが、

ざっと見た感じではビンゴのものが見当たらなかったです。

ちなみに、

1)

4.3から4.5にバージョンアップする際に、

4.4と4.5のSystemVMテンプレートは登録されましたでしょうか。

2)

4.3 -> 4.4 -> 4.5 という流れではなく

4.3 -> 4.5 でしょうか

3)

CloudStackのマイナーバージョンとハイパーバイザの種類 バージョン。

管理サーバの種類とバージョンは公開できますか。

以上です

2016/03/24 22:42、小林良太郎 <ryo....@gmail.com> のメッセージ:

--

[小林良太郎]

中谷さん

小林です。

有難うございます。
以下に回答します。

1)

4.3から4.5にバージョンアップする際に、

4.4と4.5のSystemVMテンプレートは登録されましたでしょうか。

⇒4.5のSystemVMだけ登録しました。

 

2)

4.3 -> 4.4 -> 4.5 という流れではなく

4.3 -> 4.5 でしょうか

 

4.3 -> 4.5です。DBで確認したところ、更新自体は正常に終わっています。
mysql> select * from version;
+----+---------+---------------------+----------+
| id | version | updated             | step     |
+----+---------+---------------------+----------+
|  1 | 4.0.0   | 2013-08-12 13:14:02 | Complete |
|  2 | 4.1.0   | 2013-08-12 04:15:18 | Complete |
|  3 | 4.1.1   | 2013-08-12 04:15:18 | Complete |
|  4 | 4.2.0   | 2013-12-13 05:46:24 | Complete |
|  5 | 4.2.1   | 2014-02-10 06:36:11 | Complete |
|  6 | 4.3.0   | 2014-05-22 08:01:45 | Complete |
|  7 | 4.4.0   | 2016-03-23 05:04:14 | Complete |
|  8 | 4.4.1   | 2016-03-23 05:04:14 | Complete |
|  9 | 4.4.2   | 2016-03-23 05:04:14 | Complete |
| 10 | 4.5.0   | 2016-03-23 05:04:14 | Complete |
| 11 | 4.5.1   | 2016-03-23 05:04:14 | Complete |
| 12 | 4.5.2   | 2016-03-23 05:04:14 | Complete |
+----+---------+---------------------+----------+

3)

CloudStackのマイナーバージョンとハイパーバイザの種類 バージョン。

管理サーバの種類とバージョンは公開できますか。

CloudStackのマイナーバージョンは4.5.2です。
# rpm -qa |grep cloudstack
cloudstack-awsapi-4.5.2-1.el6.x86_64
cloudstack-management-4.5.2-1.el6.x86_64
cloudstack-common-4.5.2-1.el6.x86_64

ハイパーバイザはXenServer6.2 SP1です。

管理サーバはCentOS6.4(64bit)です。

 以上です。

以前に加藤さんが投稿された事象と近いのかもしれませんね。

https://groups.google.com/forum/#!topic/cloudstack-ja/8yHca1J2ozU

socket作った後に例外起きてるから証明書とかなのかな。。。

以上、
宜しくお願いします。

[小林良太郎]

中谷さん

小林です。

解決しました！こちらの事象がドンピシャでした。
http://discussions.citrix.com/topic/372190-cloudstack-xenserver-javaioioexception-connection-closed-with-1-on-reading-size/

nssというセキュア通信に使うライブラリが古かったみたいです。
以下の手順で解決しました。

1. 管理サーバで以下のコマンド
   # yum update nss
   # service cloudstack-management restart
   
2. システムVMを再作成（再起動ではだめでした）
   

ちなみにnssの、更新前後のバージョンは下記のとおりです。
★更新前
# rpm -qa |grep nss-
nss-util-3.14.0.0-2.el6.x86_64
nss-3.14.0.0-12.el6.x86_64
nss-tools-3.14.0.0-12.el6.x86_64
nss-softokn-freebl-3.12.9-11.el6.x86_64
nss-softokn-3.12.9-11.el6.x86_64
nss-sysinit-3.14.0.0-12.el6.x86_64

★更新後
# rpm -qa |grep nss-
nss-softokn-freebl-3.14.3-23.el6_7.x86_64
nss-tools-3.19.1-8.el6_7.x86_64
nss-util-3.19.1-5.el6_7.x86_64
nss-3.19.1-8.el6_7.x86_64
nss-sysinit-3.19.1-8.el6_7.x86_64
nss-softokn-3.14.3-23.el6_7.x86_64


自己解決になってしまって申し訳ありません。
お騒がせしました。


2016年3月25日金曜日 10時20分09秒 UTC+9 小林良太郎: