ML04:2023 メンバーシップ推論攻撃 (Membership Inference Attack)

説明

メンバーシップ推論攻撃は攻撃者がモデルの訓練データを操作して、機密情報を開示するような動作をさせることで発生します。

防止方法

ランダム化またはシャッフルされたデータでのモデルトレーニング: ランダム化またはシャッフルされたデータで機械学習モデルをトレーニングすることで、攻撃者は特定の事例が訓練データセットに含まれているかどうかを判断することがより困難になる可能性があります。

モデルの難読化: ランダムノイズを追加したり差分プライバシー技法を使用してモデルの予測を難読化することで、攻撃者はモデルの訓練データを特定することがより困難になり、メンバーシップ推論攻撃を防止できます。

正則化: L1 正則化や L2 正則化などの正則化技法はモデルが訓練データに過剰適合することを防ぐのに役立ち、特定の事例が訓練データセットに含まれているかどうかを正確に判断するモデルの能力を低減できます。

訓練データの削減: 訓練データセットのサイズを縮小したり冗長な特徴や相関性の高い特徴を削除することで、攻撃者がメンバーシップ推論攻撃から得られる情報を低減できます。

テストと監視: モデルの動作に異常がないか定期的にテストと監視を行うことで、攻撃者が機密情報にアクセスを試みていることを検知し、メンバーシップ推論攻撃を検知および防止できます。

リスク要因

脅威エージェント/攻撃手法	セキュリティ上の弱点	影響
悪用難易度: 4 (普通) ML アプリケーション依存: 5 ML オペレーション依存: 3	検出難易度: 3 (普通)	技術的影響: 4 (普通)
脅威アクター: データおよびモデルにアクセスできるハッカーや悪意のあるアクター。 悪意があるか、賄賂を受け取ってデータに干渉する内部関係者。 攻撃手法: データへの認可されていないアクセスを可能にする安全でないデータ伝送チャネル。	適切なデータアクセスコントロールの欠如。 適切なデータバリデーションとサニタイズ技術の欠如。 適切なデータ暗号化の欠如。 適切なデータバックアップとリカバリ技術の欠如。	信頼できないか、不正確なモデル予測。 機密データの機密性とプライバシーの損失。 法律および規制の遵守違反。 風評被害。

本チャートは 下記のシナリオ に基づくサンプルに過ぎないことに注意することが重要です。 実際のリスク評価は各機械学習システムの具体的な状況によって異なります。

攻撃シナリオの例

シナリオ #1: 機械学習モデルから金融データを推論する

悪意のある攻撃者は個々人の機密性の高い金融情報にアクセスすることを望んでいます。 これは金融記録のデータセットの機械学習モデルを訓練し、それを使用して特定の個人の記録が訓練データに含まれているかどうかを照会することで行われます。 攻撃者はこの情報を使用して、個々人の金融履歴と機密情報を推測できます。

攻撃者は金融機関から入手した金融記録のデータセットで機械学習モデルを訓練してこの攻撃を実行しました。 このモデルを使用して特定の個人の記録が訓練データに含まれているかどうかを照会し、機密性の高い金融情報を推測できます。

参考資料