ML09:2023 出力完全性攻撃 (Output Integrity Attack)
Last updated
Last updated
出力完全性攻撃のシナリオでは、攻撃者は機械学習モデルの出力を改変または操作して、その動作を変更したり、使用されているシステムに害を及ぼすことを目的としています。
暗号化手法の使用: デジタル署名やセキュアハッシュなどの暗号化手法を使用することで、結果の真正性を検証できます。
セキュア通信チャネル: モデルと結果の表示を担当するインタフェースとの間の通信チャネルは SSL/TLS などの安全なプロトコルを使用して保護する必要があります。
入力バリデーション: 結果に対して入力バリデーションを実行して、予期しない値や操作された値がないか確認する必要があります。
改竄防止ログ: すべての入力と出力の操作に対して改竄防止ログを維持することで、出力完全性攻撃の検知と対応に役立ちます。
定期的なソフトウェアアップデート: 脆弱性を修正するための定期的なソフトウェアアップデートとセキュリティパッチは出力完全性攻撃のリスクを軽減するのに役立ちます。
監視と監査: 結果と、モデルとインタフェースの間のやり取りを定期的に監視および監査することで、疑わしいアクティビティを検出し、それに応じて対応するのに役立ちます。
| 脅威エージェント/攻撃手法 | セキュリティ上の弱点 | 影響 |
|---|---|---|
本チャートは 下記のシナリオ に基づくサンプルに過ぎないことに注意することが重要です。 実際のリスク評価は各機械学習システムの具体的な状況によって異なります。
攻撃者は病院で病気の診断に使用されている機械学習モデルの出力にアクセスしました。 攻撃者はモデルの出力を改変して、患者に誤った診断を提供するようになりました。 その結果、患者は誤った治療を受け、さらなる被害や、死に至ることさえあります。
悪用難易度: 5 (容易) ML アプリケーション依存: 4 ML オペレーション依存: 4
検出難易度: 3 (普通)
技術的影響: 3 (普通)
脅威アクター: モデルの入力と出力にアクセスできる悪意のある攻撃者や内部関係者。 インプットとアウトプットにアクセスでき、特定の結果を得るためにそれらを改竄できる第三者機関。
入力と出力の完全性を確保するための適切な認証と認可による対策の欠如。 入力と出力に対する改竄を防止するための妥当性確認と検証が不十分。 入力と出力に対する改竄を検出するための監視とログ記録が不十分。
モデルの予測や結果に対する信頼の喪失。 モデルの予測が重要な決定に使用された場合の金銭的喪失や風評被害。 モデルが金融詐欺の検出やサイバーセキュリティなどの重要なアプリケーションで使用された場合のセキュリティリスク。