セキュリティの
学び場

OWASP Top 10 for LLMs の構成

OWASP Top 10 for LLMs は、以下の10項目から構成されています。

• １）プロンプトインジェクション; Prompt Injection
• ２）安全でない出力処理; Insecure Output Handling
• ３）トレーニングデータの汚染; Training Data Poisoning
• ４）モデルへのDoS攻撃; Model Denial of Service
• ５）サプライチェーンの脆弱性; Supply Chain Vulnerabilities
• ６）機密情報の開示; Sensitive Information Disclosure
• ７）安全でないプラグインの設計; Insecure Plugin Design
• ８）過剰なエージェンシー; Excessive Agency
• ９）過度の信頼; Overreliance
• 10）モデルの盗難; Model Theft

従来のデータベースでは「SQLインジェクション」や「NoSQLインジェクション」等の攻撃が知られていますが、生成AIでも「プロンプトインジェクション」という攻撃が想定されます。プロンプトインジェクションでは自然言語による生成AIへの問い合わせ（プロンプト）に攻撃者由来の文字列が不適切に混入することで、意図しない問い合わせが生じます。

また、従来のプログラムと異なり、完全な制御が困難であることから「安全でない出力処理」や「過剰なエージェンシー（権限の委譲など）」や「過度の信頼」等が問題になります。同様に、出力が学習データに依存することから「トレーニングデータの汚染」や「機密情報の開示」等が問題になります。現状の生成AIは「間違える」事が多々あるため、「間違えることを前提とした仕組み」と共に、間違えを誘発しようとする攻撃者の影響抑止が重要となります。

それ以外にも、クラウド上の生成AIサービス利用にはコストがかかるため、「モデルへのDoS攻撃」を受けた際には想定外の費用が生じる場合もあります。 また、「サプライチェーンの脆弱性」や「安全でないプラグインの設計」のように従来からある問題への対処も必要とされます。

「モデルの盗難」もシステム内データへのアクセス制御という従来の問題であると同時に、「プロンプトエンジニアリング」と呼ばれる技術によりモデルパラメタ等を推測する攻撃も知られています。

注意が必要な点として、これらはあくまでも「LLMを含む生成AIを扱う上でのリスク」であることが挙げられます。 実際に生成AI活用システムをWeb上に構築する際には、従来のWebアプリケーション、クラウド基盤などのセキュリティリスクへの対応も必要です。