Google Admin SDK Reports API について質問です。

[wezardnet]

お世話になります。

Reports API の Activities: list で Google ドライブの Audit Log を取得しようとしているのですが、少々困ったことがあります。

（Audit Log は startTime と endTime を指定して 1 日分を取得しています）

• Reports API 公式ドキュメント
  

この API は一度に取得できる件数は最大 1,000 件と制限があるので、それ以上は pageToken をセットしてページングで取得していく感じになると思います。

ここまでは他の Google API とそれほど変わりはないので問題はないのですが、ある条件下でレスポンスにログが重複して返される場合があります。

条件とは Audit Log に同日同時刻のアクティビティが複数（たとえば数万件）記録されている場合です。

[1page]

Date uniqueQualifier

2016-02-25 08:59:13 -6395600542386494321

2016-02-25 08:59:13 -5322012104754841933

2016-02-25 08:59:13 -5431156148369679552

           ・

           ・

           ・

           ・

[5page]

Date uniqueQualifier

2016-02-25 08:59:13 -5431156148369679552

2016-02-25 08:59:13 -5498559612578655264

2016-02-25 08:59:13 -5322012104754841933 ⇒ これが重複（10page, 20page, Npage と複数回に渡って返される）

           ・

           ・

           ・

おそらく Reports API が日時だけでソートしてレスポンスを返しているので、ページングが正しく機能していないのではないかと考えています。

ちなみに uniqueQualifier はユニークな値ではありません。同日同時刻に同じアクティビティが発生した場合、同じ値でログが記録されていることがあります。ですので、これは重複にはなりません。

上記のケースは uniqueQualifier は同じで中身もまったく同じ場合になります。

uniqueQualifier をキーにして、中身の JSON を Base64 でコレクションに入れて重複分を除外させているのですが、

件数が多い場合はメモリも消費しますし、なにより 1 日分のログ取得がまったく終わる気配がないです。無限ループな感じ...

なにかお知恵というか、知見などありましたらご教示いただけると助かります。

[Tatsuya Nakano]

中野です。

同時刻でそれだけあるということはuserKeyはallで実行していると思いますが

そのデータ量だと確かに時間がすごく掛かりそうですね。（GoogleAPIの仕様上、pageTokenで辿るしかないのでallだと並列実行ができないはず）

userKeyはメールアドレスやUser.idが使えるみたいなので

手間は増えますがユーザー単位で並列取得してみてはいかがでしょうか。

1. DirectoryAPI User:listで全Appsアカウントを取得してDBに退避。
   
2. 1のUser.idをuserKeyに入れてReports APIを実行。※ここを並列で流す
   

2016年3月8日火曜日 17時24分43秒 UTC+9 wezardnet:

[wezardnet]

中野さん、返信ありがとうございます！

なるほど、ユーザー単位で取得するのも”手”ですね。たしかに並列実行させれば処理時間は大幅に短縮されそうです。

ただ、今回のケースでは同一ユーザーで同日同時刻にログが記録されているのです。

おそらく、ドライブ Sync 系のアプリか何かでローカル端末と同期したタイミングではないかと推測しています。（人為的な操作ではあり得ないですね）

Reports API で取得したログを見ると、少なくとも 1 万件ぐらいのファイル同期がされた形跡があります。

これを 1,000 件ずつページングで取得していくと 1 件あたり 1,000 件重複して取得されるように見えます。

API が前処理でどこまで返したのかわからないのでしょうか...

つまり、本来は 1 万件のログなのに 10,000 × 1,000 = 10,000,000 件のログが API で返される挙動になります。

重複ログを捨てて API コールし続けるのも、さすがにこの件数になると辛いです。。。

2016年3月8日火曜日 22時15分22秒 UTC+9 Tatsuya Nakano:

[Tatsuya Nakano]

wezardnetさん

なるほど。。

重複がちょっとあるのかと思っていましたがそんなにあるのですか、、いくらなんでも変ですよね。

2点ほど確認して欲しいです。

■管理コンソール上は重複して表示されますか？

レポート -> 監査 -> ドライブ？から見れると思います（当方の環境がUnlimitedでないのでドライブのログが出せないのですたぶんそこにあるはず）

■nextPageTokenの確認

ページングが正しく機能していないのではないかと考えています。

私もそんな気がしてきました。

重複がでるあたりのpageTokenから以下の2パターンでそれぞれnextPageTokenを取得してもらえますか？

・maxResultsを100にして10回投げた時の最後のnextPageToken

・maxResultsを1000にして1回投げた時のnextPageToken

pageTokenの仕組み上、上記2つは同じ1001番目をさすので同じにならないとおかしいです。

※仮にですが

1000の時のnextPageTokenが1001番目ではなく2番目を返すような挙動をしている場合、1つずつしか進まないので以下のようにAPI発行数が1000倍必要になりますね。

1回目が1〜1000番目のデータ

2回目が2〜1001番目のデータ

3回目が3〜1002番目のデータ

・・・

1000回目が999〜1999番目のデータ

2016年3月9日水曜日 9時25分50秒 UTC+9 wezardnet:

[wezardnet]

中野さん、アドバイスありがとうございます！

1 つ目については確認済みです。

■管理コンソール上は重複して表示されますか？

　⇒ 重複されずに表示されます。なので API で抜いた時はなぜ重複するのか不思議に感じていたところです。

2 つ目については別件の割り込み作業が入ったので未確認です。こちらは興味深いので後日調査してみます。少しお時間をください。

2016年3月9日水曜日 22時12分36秒 UTC+9 Tatsuya Nakano:

[wezardnet]

中野さん、少し時間が空いてしまいましたが 2 点目について調査してみました。

まず、重複がない部分では、期待どおりの nextPageToken が返る挙動を確認しました。

これは中野さんが回答されたとおりです。

次に重複が発生すると思われる部分の nextPageToken を調べてみたところ、

maxResults 値が 1,000, 100, 10 のそれぞれの時で 1, 2 , ･･･ n 回目の API コールとすべて同じ値になります。

つまりは maxResults 値が 1,000 の時は 

• 1001 - 2000 番目のデータ → 101 - 200 番目と同じ？ → 11 - 20 番目と同じ？
  

というおかしな値になります。これだとたぶん 1 件ずつ取得しているのと変わらないと思われます。

調査結果をスプレッドシートにまとめましたので、こちらを見た方が早いです。

https://docs.google.com/spreadsheets/d/1IL-zCg1xLMlsrh21pYDfxx5SikxhcOA0hqsZo6Ko3TY

2016年3月9日水曜日 22時12分36秒 UTC+9 Tatsuya Nakano:

wezardnetさん

[Tatsuya Nakano]

wezardnetさん

ご確認ありがとうございます。

それはNextPageTokenがぶっ壊れている気がしますね。

こういう時はどうするんでしょう。。issueに登録でしょうか。

https://code.google.com/a/google.com/p/apps-api-issues/issues/list

2016年3月29日火曜日 14時36分24秒 UTC+9 wezardnet:

[wezardnet]

拙い英文で issue 上げておきました。うまく伝わって対応してくれると嬉しいなぁ...

2016年3月29日火曜日 22時28分17秒 UTC+9 Tatsuya Nakano: