塩尻サイバーセキュリティ勉強会(本日開催/ハイブリッド/申込必要)/Top 10 for LLM
32 views
Skip to first unread message
Riotaro Okada
Aug 25, 2023, 9:18:43 PM8/25/23
to anno...@owaspjapan.org, OWASP Japan Chapter
みなさま良い週末をお過ごしのことと思います。
当日の告知で恐縮ですが、本日塩尻市で以下のイベントがあります。
不肖わたくしも情報共有しにまいります。
ハイブリッドのようですので、ぜひご参加ください。
https://shiojiri-cyber.connpass.com/event/286135/
なお、この講演で共有する内容に、以下の、有志の翻訳者により、OWASP Top 10 for
LLMの日本語訳の初版がリリースがあります。サマリーをつけますが、どうぞお楽しみください。
LLM01: Prompt Injection プロンプトインジェクション
巧妙な入力によって大規模な言語モデル（LLM）を操作し、LLMが意図しない動作を引き起こします。直接注入はシステムのプロンプトを上書きし、間接注入は外部ソースからの入力を操作するものです。
LLM02: Insecure Output Handling 安全が確認されていない出力ハンドリング
この脆弱性は、LLM の出力が精査されずに受け入れられ、バックエンドシステムを露出させるという場合に起きることです。悪用されると、XSS、CSRF、SSRF、特権の昇格、リモート・コードの実行といった深刻な結果につながる可能性があります。
LLM03: Training Data Poisoning 訓練データの汚染
LLM のトレーニングデータが改ざんされ、セキュリティ、有効性、倫理的行動を損なう脆弱性やバイアスなどが入った状態です。情報源としては、Common
Crawl、WebText、OpenWebText、書籍などがあります。
LLM04: Model Denial of Service モデルのDoS
攻撃者はLLM上でリソースを大量に消費する操作を引き起こすことで、サービスの低下や高コストをもたらします。LLMはリソースを大量に消費し、ユーザーの入力が予測できないため、脆弱性は拡大します。
LLM05: Supply Chain Vulnerabilities サプライチェーンの脆弱性
LLMアプリケーションのライフサイクルは、脆弱なコンポーネントやサービスによって侵害される可能性があり、セキュリティ攻撃につながります。サードパーティのデータセット、事前に訓練されたモデル、およびプラグインを使用することで、脆弱性が増える可能性があります。
LLM06: Sensitive Information Disclosure 機微情報の漏出
LLMは、その応答の中で不注意に機密データを暴露する可能性があり、不正なデータアクセス、プライバシー侵害、セキュリティ侵害につながります。これを軽減するためには、データのサニタイズと厳格なユーザー・ポリシーを導入することが極めて重要です。
LLM07: Insecure Plugin Design 安全が確認されていないプラグイン設計
LLMプラグインにおいて、入力が確認されておらず、あるいはアクセス制御が不十分である場合、このようなアプリケーションにおけるコントロールの欠如は、悪用が容易であり、リモート・コード実行のような結果をもたらす可能性があります。
LLM08: Excessive Agency 過剰な代理行為
LLMベースのシステムは、意図しない結果を招くような行動をとることがあります。この問題は、LLMベースのシステムに与えられた過剰な機能、権限、または自律性に起因します。
LLM09: Overreliance 過度の信頼
十分監督されていないLLMに過度に依存したシステムや人々は、LLMが生成したコンテンツが不正確または不適切であるため、誤った情報、誤ったコミュニケーション、法的問題、セキュリティの脆弱性に直面する可能性があります。
LLM10: Model Theft モデルの盗難
これには、独自のLLMモデルへの不正アクセス、コピー、または流出が含まれます。その影響には、経済的損失、競争上の優位性の低下、機密情報へのアクセスの可能性などが含まれます。
--
Riotaro OKADA
OWASP Japan Chapter Lead
WebSite:
https://owasp.org/www-chapter-japan/
(old) https://wiki.owasp.org/index.php/Japan
Join OWASP Japan Mailing List
https://groups.google.com/a/owasp.org/forum/#!forum/japan-chapter/join
OWASP Japan Channel
https://www.youtube.com/channel/UCOsPioMMKzTTVv3__M0HFUw
当日の告知で恐縮ですが、本日塩尻市で以下のイベントがあります。
不肖わたくしも情報共有しにまいります。
ハイブリッドのようですので、ぜひご参加ください。
https://shiojiri-cyber.connpass.com/event/286135/
なお、この講演で共有する内容に、以下の、有志の翻訳者により、OWASP Top 10 for
LLMの日本語訳の初版がリリースがあります。サマリーをつけますが、どうぞお楽しみください。
LLM01: Prompt Injection プロンプトインジェクション
巧妙な入力によって大規模な言語モデル（LLM）を操作し、LLMが意図しない動作を引き起こします。直接注入はシステムのプロンプトを上書きし、間接注入は外部ソースからの入力を操作するものです。
LLM02: Insecure Output Handling 安全が確認されていない出力ハンドリング
この脆弱性は、LLM の出力が精査されずに受け入れられ、バックエンドシステムを露出させるという場合に起きることです。悪用されると、XSS、CSRF、SSRF、特権の昇格、リモート・コードの実行といった深刻な結果につながる可能性があります。
LLM03: Training Data Poisoning 訓練データの汚染
LLM のトレーニングデータが改ざんされ、セキュリティ、有効性、倫理的行動を損なう脆弱性やバイアスなどが入った状態です。情報源としては、Common
Crawl、WebText、OpenWebText、書籍などがあります。
LLM04: Model Denial of Service モデルのDoS
攻撃者はLLM上でリソースを大量に消費する操作を引き起こすことで、サービスの低下や高コストをもたらします。LLMはリソースを大量に消費し、ユーザーの入力が予測できないため、脆弱性は拡大します。
LLM05: Supply Chain Vulnerabilities サプライチェーンの脆弱性
LLMアプリケーションのライフサイクルは、脆弱なコンポーネントやサービスによって侵害される可能性があり、セキュリティ攻撃につながります。サードパーティのデータセット、事前に訓練されたモデル、およびプラグインを使用することで、脆弱性が増える可能性があります。
LLM06: Sensitive Information Disclosure 機微情報の漏出
LLMは、その応答の中で不注意に機密データを暴露する可能性があり、不正なデータアクセス、プライバシー侵害、セキュリティ侵害につながります。これを軽減するためには、データのサニタイズと厳格なユーザー・ポリシーを導入することが極めて重要です。
LLM07: Insecure Plugin Design 安全が確認されていないプラグイン設計
LLMプラグインにおいて、入力が確認されておらず、あるいはアクセス制御が不十分である場合、このようなアプリケーションにおけるコントロールの欠如は、悪用が容易であり、リモート・コード実行のような結果をもたらす可能性があります。
LLM08: Excessive Agency 過剰な代理行為
LLMベースのシステムは、意図しない結果を招くような行動をとることがあります。この問題は、LLMベースのシステムに与えられた過剰な機能、権限、または自律性に起因します。
LLM09: Overreliance 過度の信頼
十分監督されていないLLMに過度に依存したシステムや人々は、LLMが生成したコンテンツが不正確または不適切であるため、誤った情報、誤ったコミュニケーション、法的問題、セキュリティの脆弱性に直面する可能性があります。
LLM10: Model Theft モデルの盗難
これには、独自のLLMモデルへの不正アクセス、コピー、または流出が含まれます。その影響には、経済的損失、競争上の優位性の低下、機密情報へのアクセスの可能性などが含まれます。
--
Riotaro OKADA
OWASP Japan Chapter Lead
WebSite:
https://owasp.org/www-chapter-japan/
(old) https://wiki.owasp.org/index.php/Japan
Join OWASP Japan Mailing List
https://groups.google.com/a/owasp.org/forum/#!forum/japan-chapter/join
OWASP Japan Channel
https://www.youtube.com/channel/UCOsPioMMKzTTVv3__M0HFUw
Reply all
Reply to author
Forward
0 new messages