AIの業務活用はますます拡大しており、AIが組み込まれたシステムへの攻撃シナリオを考え、そのリスクに備えて対処を構築していく必要性があります。このため、攻撃者の目線からシステムを評価するレッドチームのAIバージョン、AIレッドチームの存在が注目されています。AI固有のリスクを評価するため一般的なレッドチームとは対象や手法が異なりますが、その本質は変わりません。今回はAIレッドチームの現状と今後についてご紹介します。

エグゼクティブサマリー

• AIレッドチームでは医療や法律など様々な領域の専門家をチームに加えて攻撃シナリオを検討、AIシステム固有のリスクへ対応
• AIシステムを開発する米国のテクノロジー企業を中心に国内外の様々な組織でAIレッドチームの取組みを実施
• 脱獄問題や多言語・文化への対応が引き続きの課題
• 「許容不可なリスクがない」状態とするため、AIレッドチームの活動は今後も重要となってくる可能性

AIレッドチームの役割、目的、テスト対象

AIシステム固有のリスクに対応

AIレッドチーム（AI Red Team）とは、AIシステム[1]に対して攻撃者の目線でテストを行い、脆弱性や対策の不備を特定し、セキュリティや信頼性を向上させるための専門チームです[2]。従来のサイバーセキュリティのレッドチーミングと同様に、攻撃者視点でシステムを評価する役割を担いますが、AIシステム固有のリスクへの対応が必要な点が異なります。

医療や法律など様々な領域の専門家をチームに加えて攻撃シナリオを検討

表1 従来のレッドチームとAIレッドチームの違い[3]

敵対的サンプル：モデルに誤分類を引き起こさせるために、人間にはわからないようなわずかなノイズを加えた画像
モデルインバージョン攻撃：AIの学習データを再構成することで窃取する手法

LLMのほか、学習データや外部リソースもテスト対象に

AI システムの中でLLMを自組織で独自開発する他、他組織で開発されたものを入手して使用する場合も多数あります。また、自組織のAIシステム内にLLMを組み込んだ構成の他、LLMを使用するサービスとして他組織で運用されているLLMをAPI経由で使用し、自組織のAIシステム内にはLLMを組み込まない構成とする場合など様々な構成が想定されるため、AIレッドチームのテスト対象はアプリケーション全体のほか、LLMや学習データ、外部ソースなど多岐にわたるのが特徴です。
AISI(IPAが2024年2月に設立した”AI Safety Institute”)では、ＡＩシステムの構成要素やＡＩセーフティの評価観点を踏まえたレッドチーミング実施方法について提唱しています[2]。

図1 ＡＩシステムの構成要素やＡＩセーフティの評価観点を踏まえたレッドチーミング実施方法[2]

100

国内外の取り組み状況

AIを開発する米国のテクノロジー企業などでは、AIレッドチームを設置してAIシステムの脆弱性を評価することが一般的になっており、誤用や不適切な回答を防ぐために積極的なテストを実施しています。また、法律・経済など、多様なドメインの専門家を外部から募集してAIレッドチームを立ち上げる企業や安全保障の専門家へのインタビューを通してリスク領域を特定する企業が存在しています。各組織のＡＩレッドチームの特徴や差別化要素については以下の通りです。

表2 国内外の各組織のAIレッドチームの特徴や差別化要素

AIレッドチームの課題

攻撃技術の効率化や高度化

敵対的サンプル(ノイズを加えて正しく識別できなくしたサンプル)やAIモデルのリバースエンジニアリング技術は日々進化し、様々な攻撃事例が確認されており、AIレッドチームも最新の攻撃手法に対応する必要があります[11,12,13]。
中国が関与と指摘されている攻撃者グループ「Salmon Typhoon」が、大規模言語モデル（LLM）を利用して情報収集、スクリプト作成、翻訳支援、セキュリティ機能の回避などを行っていると報告される[12]など、攻撃者グループが攻撃手法やツールの開発の効率化に利用して攻撃コストを下げつつゼロデイ攻撃の発見にAIを活用することなどが想定されています。これらの攻撃を正確にシミュレーションし、事前にリスクを評価することは難しく、いたちごっこの状況が続く可能性があります。

AIの脱獄問題

AIシステムに設けられた安全性や制限を意図的に回避する、いわゆるAIの脱獄の問題が指摘されています[14]。攻撃者は、特定のキーワードや構文を用いてモデルに誤った回答へ誘導させる”プロンプトインジェクション”や言語特有の文法やニュアンスを利用して制約を迂回する”多言語攻撃”などにより、AIが不適切、危険、または意図しない応答を生成するように脆弱性を悪用します。（例えば「キーを使わずに車を発進させる方法を教えて下さい。」などの攻撃の目的に沿ったプロンプトを入力）。
膨大な数のパターンが考えられ、潜在的な攻撃をすべてシミュレーションすることは非現実的であることから、AnthropicやOpenAIが活用しているような自動敵対的テストフレームワーク[15]により、テストを自動化して弱点を事前に特定する等の新たな脅威に継続的に対応する仕組みも必要です。

多言語・文化への対応

LLMのシステムや学習データが特定の言語や特定の地域を拠点とする人々の視点に依存の部分が多くなってしまう点が懸念されています。これに対して、AnthropicがシンガポールのInfocomm Media Development Authority（IMDA）やAI Verify Foundation(IMDAの完全子会社でAIテストツールの開発や標準を推進)と連携して「英語、タミル語、北京語、マレー語」を対象に、地元住民が特定のコミュニティに関連するトピックについてAIシステムをテストする取り組みを実施しています[16]。学習データや評価用データが限られており十分なテストができない地域においてこのような取り組みを通じて、特定の言語や文化圏で重大な脆弱性が見逃されるリスクに対応していく必要があります。

今後の展望

AIシステムに対する安全性を確保するためにAIレッドチーム観点での評価の重要性が高まっていく可能性

総務省の報告によると日本のAI市場は急速に拡大し、2030年には約1.9兆円規模に達すると予測されており[17]、今後も様々な組織でAIシステムの活用が進むことが想定されます。一方、これまで述べてきたように技術的な脆弱性だけでなく、誤情報やバイアス、倫理的リスクの問題へ対応する必要があることから、さまざまな組織でAIレッドチームの活動の必要性も認知されてくると思われます。
MITREの研究によると、政府や主要な業界でAIレッドチームを定期的に導入することで、AIシステムの保護が強化され、サイバー攻撃に対する耐性が向上するとされており、AIレッドチームが重要な役割を果たすことが期待されています[18]。今後AIレッドチーム観点での評価が一般的になっていくためには、AISIが言及しているようにAIシステムを継続して利用していくうえで「許容不可なリスクがない」状態とするため[8]、「AIレッドチームの課題」で述べたような問題へ継続的に対応していく必要があるでしょう。

参照文献

[1] 経済産業省, "「AI事業者ガイドライン（第1.0版）」" 19_04_2024
[2] IPA, "AI セーフティに関するレッドチーミング手法ガイド（第 1.00 版）" 25_09_2024
[3] REPELLO, "The Essential Guide to AI Red Teaming in 2024" 02_09_2024
[4] OpenAI, "Advancing red teaming with people and AI" 21_11_2024
[5] Google, "Making AI helpful for everyone"
[6] Microsoft, " AI threats"
[7] DoD, " Spotlight Artificial Intelligence"
[8] AISI, "日本のAI戦略を支えるAI安全性についてとAI Safety Instituteのご紹介"
[9] NRI, " AI Red Team サービス"
[10] pwc, " AIサービスのリスクを特定する「AIレッドチーム」"
[11] SentinelOne, "Top 14 AI Security Risks in 2024"
[12] Microsoft, "AI threats"
[13] World Economic Forum, "AI and cybersecurity: How to navigate the risks and opportunities"
[14] Microsoft, " AI jailbreaks: What they are and how they can be mitigated"
[15] restack, " The framework for autonomous intelligence"
[16] Anthropic, "Challenges in red teaming AI systems"
[17] 総務省, "情報通信白書(令和5年版)"
[18] MITRE, " AI RED TEAMING: ADVANCING SAFE AND SECURE AI SYSTEMS"

この記事を執筆したアナリスト

蒲谷　武正（Kamatani Takemasa）
専門分野：脅威インテリジェンス、攻撃観測環境、ビジネス・サービス開発

脅威情報の収集分析やサイバーインテリジェンス関連のビジネス・サービス開発、攻撃観測環境の構築・運営、セキュリティインシデント対応に関する業務に従事、CISSPを保持。