日本時間 3/8 9:00PM 現在 Python Runtime で障害が発生しています

[Takashi Matsuo]

松尾です。

日本時間 3/8 9:00PM 現在 Python Runtime で障害が発生しています。
現象としてはあるはずのモジュールに関して ImportError が発生しています。

現在復旧作業中です。アップデートがあればこのスレッドでお知らせします。

--
Takashi Matsuo
Developer Relations
Developer Advocate for Google App Engine/iGoogle
Google Japan, Inc.

[Takashi Matsuo]

日本時間の 10:30 PM 現在、Python Runtime は正常に動作するようになりました。
引き続き状況を注意深くモニターします。原因についての調査結果などは後ほどお伝えします。

ご迷惑をおかけして済みません。

[yoshi]

こちら完全に復旧されたのでしょうか？
アナウンスされた時刻以降に立ち上がったインスタンスでもImportErrorを吐き続けているものがあります

2011-03-08 06:51:57.822

<type 'exceptions.ImportError'>: cannot import name polymodel
from google.appengine.ext.db import polymodel

また、アプリのバージョンを切り替えて
インスタンスを停止、開始しているのですが
これまでより、インスタンスの終了が遅く、
さほどアクセスがあるわけではないのですが
切り替え後も、以前のバージョンのインスタンスが残り続けています

あと、管理画面で500エラーが頻発するようになりました

[Takashi Matsuo]

今回の件ではご迷惑をおかけしています。

日本時間で 12:00 現在、まだいくつかの app server がこの現象の影響をうけています。
現在修正作業中です。アップデートがあればまたお知らせします。

[yoshi]

新たなバージョンをアップロードして切り替えてみようと思ったのですが
ちょっと前に発生していた
precompileでのエラーが復活してしまっています

> > Google Japan, Inc.- 引用テキストを表示しない -
>
> - 引用テキストを表示 -

[yoshi]

precompileでエラーにはなりましたが
バージョンだけ変えて新たにアップロードしたバージョンに切り替えると
症状がおさまりました

> > - 引用テキストを表示 -- 引用テキストを表示しない -
>
> - 引用テキストを表示 -

[Takashi Matsuo]

松尾です。

日本時間の 3/9 1:10am に残りの app server も正常に動作するようになりました。
チームは、今回の経緯をまとめて postmortem を作成中です。

postmortem が出来上がり次第、こちらでお知らせします。

なお、英語版がまず下記のグループ、スレッドに投稿される予定です。
http://groups.google.com/group/google-appengine-downtime-notify/browse_thread/thread/95c487775d6a748d

今回の件ではご不便をおかけし、申し訳ありません。

[Takashi Matsuo]

松尾です。

少し時間がかかってしまいましたが、この件についての postmortem を公開し
ましたのでお知らせします。
https://groups.google.com/group/google-appengine/browse_thread/thread/8c9d1a440bd125e6

本件ではご迷惑をおかけしました。上記メールにあるように App Engine チー
ムは再発を防止するための努力を続けていきますので、今後ともよろしくお願
いします。

-- matsuo