AI王 〜クイズAI日本一決定戦〜 第2回コンペティションについてご質問
25 views
Skip to first unread message
wataru sakata
Nov 24, 2021, 3:38:46 AM11/24/21
to JAQKET/AI王
AI王 〜クイズAI日本一決定戦〜 問い合わせ担当者様
お世話になっております。LINE株式会社の坂田と申します。
お世話になっております。LINE株式会社の坂田と申します。
AI王 〜クイズAI日本一決定戦〜 第2回コンペティションについて質問があります。ご回答頂ければ幸いです。
- GCPのインスタンス上での評価を想定とありますが、次のような点については未決定でしょうか。
- GCPのインスタンスはどのスペックのものを利用する予定でしょうか。
- 評価時はコードを運営に提出して運営の準備したGCPインスタンス上でコードの実行を行う形式でしょうか。また、leaderborad上での評価と人手評価それぞれについて同じ手順・環境で評価を行う予定でしょうか。
- 公開されている第一回のコンペティションのデータについて”「AI王」向けにクイズ作家に作問を依頼”とありますが、依頼内容はどのよなものでしょうか？（学習用データに見られるabc/EQIDENで出されるようなクイズを作って欲しいといったような内容でしょうか）
よろしくお願いいたします。
--------
LINE株式会社 NLP開発チーム
坂田 亘
Jun Suzuki
Nov 24, 2021, 11:30:33 PM11/24/21
to wataru sakata, JAQKET/AI王
LINE株式会社 坂田様
AI王運営委員会/東北大の鈴木です．
お問い合わせありがとうございました．
> - GCPのインスタンス上での評価を想定とありますが、次のような点については未決定でしょうか。
現在リーダーボードおよび評価システムを作成中で，テスト段階に入っています．
もうすぐ公開予定です．
評価に使うGCPインスタンスのスペックは概ね決まっているのですが，
リーダーボード公開に合わせてアナウンスさせていただきます．
暫定的な情報で確定ではないですが，
n1-highmem-16 + Nvidia Tesla P100x1
は最低限確保したいと思っています．
# 本来はP100ではなくV100にしたいと思っているのですが，インスタンスの構成上なぜかうまく構築できていない状況です．
> 2. 評価時はコードを運営に提出して運営の準備したGCPインスタンス上でコードの実行を行う形式でしょうか。また、leaderborad上での評価と人手評価それぞれについて同じ手順・環境で評価を行う予定でしょうか。
現在dockerにて実行環境ごと投稿してもらうことを想定して，システムを作成しています．
Leaderbord上の評価は自動評価（模範回答とのexact match）で評価します．
人手評価は，別解や表記揺れなどを人手チェックしたいと思っています．
ですので，基本的には人で評価をすることで，自動評価で誤答と判断されたものを
正解にするという方向です．
位置づけとしては，自動評価は仮の評価で，人手評価が真の評価ということになります．
> - 公開されている第一回のコンペティションのデータについて"「AI王」向けにクイズ作家に作問を依頼"とありますが、依頼内容はどのよなものでしょうか？（学習用データに見られるabc/EQIDENで出されるようなクイズを作って欲しいといったような内容でしょうか）
クイズ作家さんへの依頼文を簡単にいうと「よくあるクイズ番組/イベントで使うクイズと同じクイズ問題をつくてください」という依頼になります．
こちらの回答でご質問の意図を満たしているかわかりませんが，
取り急ぎ回答できる範囲で回答させていただきました．
また何かあればご連絡いただければと思います．
以上よろしくお願いします．
On 2021/11/24 17:38, wataru sakata wrote:
> AI王 〜クイズAI日本一決定戦〜 問い合わせ担当者様
>
> お世話になっております。LINE株式会社の坂田と申します。
> AI王 〜クイズAI日本一決定戦〜 第2回コンペティションについて質問があります。ご回答頂ければ幸いです。
>
> - GCPのインスタンス上での評価を想定とありますが、次のような点については未決定でしょうか。
>
> 1. GCPのインスタンスはどのスペックのものを利用する予定でしょうか。
> 2. 評価時はコードを運営に提出して運営の準備したGCPインスタンス上でコードの実行を行う形式でしょうか。また、leaderborad上での評価と人手評価それぞれについて同じ手順・環境で評価を行う予定でしょうか。
> このメールは Google グループのグループ「JAQKET/AI王」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには jaqket+un...@googlegroups.com <mailto:jaqket+un...@googlegroups.com> にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/jaqket/d788f470-22ce-4411-a4f4-895cd022f9f3n%40googlegroups.com <https://groups.google.com/d/msgid/jaqket/d788f470-22ce-4411-a4f4-895cd022f9f3n%40googlegroups.com?utm_medium=email&utm_source=footer> にアクセスしてください。
AI王運営委員会/東北大の鈴木です．
お問い合わせありがとうございました．
> - GCPのインスタンス上での評価を想定とありますが、次のような点については未決定でしょうか。
現在リーダーボードおよび評価システムを作成中で，テスト段階に入っています．
もうすぐ公開予定です．
評価に使うGCPインスタンスのスペックは概ね決まっているのですが，
リーダーボード公開に合わせてアナウンスさせていただきます．
暫定的な情報で確定ではないですが，
n1-highmem-16 + Nvidia Tesla P100x1
は最低限確保したいと思っています．
# 本来はP100ではなくV100にしたいと思っているのですが，インスタンスの構成上なぜかうまく構築できていない状況です．
> 2. 評価時はコードを運営に提出して運営の準備したGCPインスタンス上でコードの実行を行う形式でしょうか。また、leaderborad上での評価と人手評価それぞれについて同じ手順・環境で評価を行う予定でしょうか。
現在dockerにて実行環境ごと投稿してもらうことを想定して，システムを作成しています．
Leaderbord上の評価は自動評価（模範回答とのexact match）で評価します．
人手評価は，別解や表記揺れなどを人手チェックしたいと思っています．
ですので，基本的には人で評価をすることで，自動評価で誤答と判断されたものを
正解にするという方向です．
位置づけとしては，自動評価は仮の評価で，人手評価が真の評価ということになります．
> - 公開されている第一回のコンペティションのデータについて"「AI王」向けにクイズ作家に作問を依頼"とありますが、依頼内容はどのよなものでしょうか？（学習用データに見られるabc/EQIDENで出されるようなクイズを作って欲しいといったような内容でしょうか）
こちらの回答でご質問の意図を満たしているかわかりませんが，
取り急ぎ回答できる範囲で回答させていただきました．
また何かあればご連絡いただければと思います．
以上よろしくお願いします．
On 2021/11/24 17:38, wataru sakata wrote:
> AI王 〜クイズAI日本一決定戦〜 問い合わせ担当者様
>
> お世話になっております。LINE株式会社の坂田と申します。
> AI王 〜クイズAI日本一決定戦〜 第2回コンペティションについて質問があります。ご回答頂ければ幸いです。
>
> - GCPのインスタンス上での評価を想定とありますが、次のような点については未決定でしょうか。
>
> 2. 評価時はコードを運営に提出して運営の準備したGCPインスタンス上でコードの実行を行う形式でしょうか。また、leaderborad上での評価と人手評価それぞれについて同じ手順・環境で評価を行う予定でしょうか。
>
> - 公開されている第一回のコンペティションのデータについて”「AI王」向けにクイズ作家に作問を依頼”とありますが、依頼内容はどのよなものでしょうか？（学習用データに見られるabc/EQIDENで出されるようなクイズを作って欲しいといったような内容でしょうか）
>
>
> よろしくお願いいたします。
>
> --------
> LINE株式会社 NLP開発チーム
> 坂田 亘
>
> --
> - 公開されている第一回のコンペティションのデータについて”「AI王」向けにクイズ作家に作問を依頼”とありますが、依頼内容はどのよなものでしょうか？（学習用データに見られるabc/EQIDENで出されるようなクイズを作って欲しいといったような内容でしょうか）
>
>
> よろしくお願いいたします。
>
> --------
> LINE株式会社 NLP開発チーム
> 坂田 亘
>
> このメールは Google グループのグループ「JAQKET/AI王」に登録しているユーザーに送られています。
> このグループから退会し、グループからのメールの配信を停止するには jaqket+un...@googlegroups.com <mailto:jaqket+un...@googlegroups.com> にメールを送信してください。
> このディスカッションをウェブ上で閲覧するには https://groups.google.com/d/msgid/jaqket/d788f470-22ce-4411-a4f4-895cd022f9f3n%40googlegroups.com <https://groups.google.com/d/msgid/jaqket/d788f470-22ce-4411-a4f4-895cd022f9f3n%40googlegroups.com?utm_medium=email&utm_source=footer> にアクセスしてください。
wataru sakata
Nov 30, 2021, 9:19:51 PM11/30/21
to Jun Suzuki, JAQKET/AI王
AI王運営委員会/東北大 鈴木様
お忙しい中、すぐにご返信いただきまして、ありがとうございます。
それぞれの内容について承知いたしました。
今後ともよろしくお願いいたします。
今後ともよろしくお願いいたします。
--------
LINE株式会社 NLP開発チーム
坂田 亘
LINE株式会社 NLP開発チーム
坂田 亘
2021年11月25日(木) 13:30 Jun Suzuki <jun.s...@tohoku.ac.jp>:
Reply all
Reply to author
Forward
0 new messages