付録 A: 用語集

この包括的な用語集では、AISVS 全体で使用される主要なAI、ML、セキュリティ用語の定義を提供し、明確さと共通理解を確保します。

  • 敵対的サンプル (Adversarial Example): 多くの場合、人間には知覚できない微妙な摂動を加えることで、AI モデルに間違いを起こさせるように意図的に細工された入力です。

  • 敵対的堅牢性 (Adversarial Robustness) – AI における敵対的堅牢性とは、モデルがそのパフォーマンスを維持し、エラーを引き起こすように意図的に細工された悪意のある入力によって騙されたり操作されたりしないようにする能力を指します。

  • エージェント (Agent) – AI エージェントは、AI を用いてユーザーに代わって目標達成やタスク完了を行うソフトウェアシステムです。推論、計画、記憶能力を備え、意思決定、学習、適応を行うための一定の自律性を有しています。

  • エージェント AI (Agentic AI): 目標を達成するためにある程度の自律性をもって動作し、多くの場合、人間が直接介入することなく意思決定やアクションを実行できる AI システムです。

  • 属性ベースのアクセス制御 (Attribute-Based Access Control (ABAC)): クエリ時に評価されるユーザー、リソース、アクション、環境の属性に基づいて認可の決定が行われるアクセス制御パラダイムです。

  • バックドア攻撃 (Backdoor Attack): 特定のトリガーに対して特定の方法で応答し、それ以外の場合は通常通りに動作するようにモデルを訓練する、データポイズニング攻撃の一種です。

  • バイアス (Bias): 特定のグループまたは特定のコンテキストで不公平または差別的な結果につながる可能性のある、AI モデル出力の体系的なエラーです。

  • バイアスの悪用 (Bias Exploitation): AI モデルの既知のバイアスを利用して出力や結果を操作する攻撃技法です。

  • Cedar: AI システムの ABAC の実装に使用されるきめ細かなパーミッションのための Amazon のポリシー言語とエンジンです。

  • 思考の連鎖 (Chain of Thought): 最終的な答えを出す前に中間の推論ステップを生成することで、言語モデルの推論を改善する技法です。

  • サーキットブレーカー (Circuit Breakers): 特定のリスク閾値を超えた際に AI システムの動作を自動的に停止するメカニズムです。

  • コンフィデンシャル推論サービス (Confidential Inference Service): 高信頼実行環境 (TEE) または同等のコンフィデンシャルコンピューティングメカニズム内で AI モデルを実行し、モデルの重みと推論データが暗号化され、封印され、不正アクセスや改竄から保護された状態を維持する推論サービスです。

  • コンフィデンシャルワークロード (Confidential Workload): ハードウェアによる分離、メモリ暗号化、リモートアテステーションを備えた高信頼実行環境 (TEE) 内で実行され、コード、データ、モデルをホストや共同テナントのアクセスから保護する AI ワークロード (トレーニング、推論、前処理など) です。

  • データ漏洩 (Data Leakage): AI モデルの出力または動作を通じた機密情報の意図しない開示です。

  • データポイズニング (Data Poisoning): モデルの完全性を侵害するためにトレーニングデータを意図的に破損することです。多くの場合、バックドアをインストールしたり、パフォーマンスを低下します。

  • 差分プライバシー (Differential Privacy) – 差分プライバシーは、個々のデータ主体のプライバシーを保護しながら、データセットに関する統計情報を公開するための数学的に厳密なフレームワークです。これにより、データ保有者は特定の個人に関する情報の漏洩を制限しながら、グループの集約パターンを共有することができます。

  • エンベディング (Embeddings): 高次元空間で意味論的意味を捉える、データ (テキスト、画像など) の密なベクトル表現です。

  • 説明可能性 (Explainability) – AI における説明可能性とは、AI システムがその決定や予測について人間が理解できる理由を提供し、内部の仕組みに関する洞察を提供する能力です。

  • 説明可能な AI (Explainable AI (XAI)): さまざまな技法とフレームワークを通じて、決定と動作について人間が理解できる理由を提供するように設計された AI システムです。

  • 連合学習 (Federated Learning): データ自体を交換せずに、ローカルデータサンプルを保持する複数の分散デバイス間でモデルを訓練する機械学習アプローチです。

  • 定式化 (Formulation): ハイパーパラメータ、トレーニング構成、前処理手順、ビルドスクリプトなどのアーティファクトやデータセットを生成するために使用されるレシピまたは手法です。

  • ガードレール (Guardrails): AI システムが有害な出力、バイアスのある出力、または望ましくない出力を生成するのを防ぐために実装された制約です。

  • ハルシネーション (Hallucination) – AI ハルシネーションとは、AI モデルがトレーニングデータや事実に基づかない不正確な情報や誤解を招く情報を生成する現象を指します。

  • ヒューマンインザループ (Human-in-the-Loop (HITL)): 重要な意思決定ポイントで人間による監視、検証、または介入を必要となるように設計されたシステムです。

  • Infrastructure as Code (IaC): 手動プロセスではなくコードを通じてインフラストラクチャを管理およびプロビジョニングし、セキュリティスキャンと一貫したデプロイメントを可能にします。

  • ジェイルブレイク (Jailbreak): 特に大規模言語モデルにおいて、AI システムの安全ガードレールを回避して、禁止されたコンテンツを生成するために使用される技法です。

  • 最小権限 (Least Privilege): ユーザーとプロセスに必要な最小限のアクセス権のみを付与するセキュリティ原則です。

  • LIME (Local Interpretable Model-agnostic Explanations): 解釈可能なモデルで局所的に近似することで、機械学習分類器の予測を説明する技法です。

  • メンバーシップ推論攻撃 (Membership Inference Attack): 特定のデータポイントが機械学習モデルの訓練に使用されたかどうかを判断することを目的とした攻撃です。

  • MITRE ATLAS: 人工知能システムに対する敵対的脅威の状況 (Adversarial Threat Landscape for Artificial-Intelligence Systems); AI システムに対する敵対的戦術と技法の知識ベースです。

  • モデルカード (Model Card) – モデルカードは、透明性と責任ある AI 開発を促進するために、AI モデルのパフォーマンス、制限、使用目的、倫理的考慮事項に関する標準化された情報を提供するドキュメントです。

  • モデル抽出 (Model Extraction): 攻撃者がターゲットモデルを繰り返しクエリして、機能的に類似したコピーを認可なく作成する攻撃です。

  • モデル反転 (Model Inversion): モデル出力を解析してトレーニングデータを再構築しようとする攻撃です。

  • モデルライフサイクル管理 (Model Lifecycle Management) – AI モデルライフサイクル管理は、AI モデルの設計、開発、デプロイメント、監視、保守、最終的な廃止など、AI モデルの存在に関するすべての段階を監視し、モデルが効果的であり、目的と一致していることを確認するプロセスです。

  • モデルポイズニング (Model Poisoning): トレーニングプロセス時に脆弱性やバックドアをモデルに直接導入するものです。

  • モデル窃盗/窃取 (Model Stealing/Theft): クエリを繰り返してプロプライエタリモデルのコピーや近似値を抽出するものです。

  • マルチエージェントシステム (Multi-agent System): それぞれ異なる機能と目標を持つ、複数の相互作用する AI エージェントで構成されたシステムです。

  • OPA (Open Policy Agent): スタック全体で統一されたポリシー適用を可能にするオープンソースポリシーエンジンです。

  • 来歴 (Provenance): その出所、ハンドラ、転送パス、完全性の証跡 (チェックサム、署名など) を含む、アーティファクトやデータセットの系統と保管の連鎖です。

  • プライバシー保護機械学習 (Privacy-Preserving Machine Learning (PPML)): トレーニングデータのプライバシーを保護しながら、ML モデルを訓練およびデプロイするための技法と手法です。

  • プロンプトインジェクション (Prompt Injection): 悪意のある命令を入力に埋め込み、モデルの意図した動作を無効にする攻撃です。

  • 検索拡張生成 (RAG (Retrieval-Augmented Generation)): レスポンスを生成する前に外部の知識ソースから関連情報を取得することで、大規模言語モデルを強化する技法です。

  • レッドチーミング (Red-Teaming): 敵対的攻撃をシミュレートして AI システムを積極的にテストし、脆弱性を特定する演習です。

  • SLSA 来歴 (SLSA Provenance): アーティファクトが生成された場所、時期、方法を記録する SLSA フレームワークで定義されたメタデータです (ソースリポジトリ、コミットハッシュ、ビルドシステム、パラメータなど)。

  • ソフトウェア部品表 (SBOM (Software Bill of Materials)): ソフトウェアまたは AI モデルを構築するために使用されるさまざまなコンポーネントの詳細とサプライチェーンの関係を含む形式化された記録です。

  • SHAP (SHapley Additive exPlanations): 各機能の予測への寄与を計算することで、機械学習モデルの出力を説明するゲーム理論的アプローチです。

  • ストロング認証 (Strong Authentication): 少なくとも二つの要素 (知識、所有、生得) と、FIDO2/WebAuthn、証明書ベースのサービス認証、有効期間が短いトークンなどのフィッシング耐性メカニズムを必要とすることで、クレデンシャルの盗難やリプレイに抵抗する認証です。

  • サプライチェーン攻撃 (Supply Chain Attack): サードパーティのライブラリ、データセット、事前訓練済みモデルなど、サプライチェーンの安全性の低い要素をターゲットにしてシステムを侵害するものです。

  • 転移学習 (Transfer Learning): あるタスク用に開発されたモデルを二つ目のタスクのモデルの開始点として再使用する技法です。

  • ベクトルデータベース (Vector Database): 高次元ベクトル (エンベディング) を格納し、効率的な類似性検索を実行するために設計された特殊なデータベースです。

  • 脆弱性スキャン (Vulnerability Scanning): AI フレームワークや依存関係などの、ソフトウェアコンポーネントの既知のセキュリティ脆弱性を識別する自動ツールです。

  • 透かし入れ (Watermarking): AI 生成コンテンツに知覚できないマーカーを埋め込んで、その出所を追跡したり AI 生成を検出する技法です。

  • ゼロデイ脆弱性 (Zero-Day Vulnerability): 開発者がパッチを作成してデプロイする前に攻撃者が悪用できる、これまで知られていない脆弱性です。

PreviousC13 人間による監視、説明責任、ガバナンス (Human Oversight, Accountability & Governance)Next付録 B: 参考情報

Last updated