NECサイバーセキュリティ技術統括部セキュリティ技術センターの大家です。
私は2025年3月25から3月27日にかけてオランダのアムステルダムで開催された、Amsterdam 2025 FIRST Technical Colloquium[1]に参加しました。今回はその参加レポートとして、カンファレンスの概要と一部の講演の内容を紹介します。

カンファレンス概要

FIRSTとFIRST Technical Colloquium

FIRST[2]はForum of Incident Response and Security Teamsの頭文字を取った名称で、情報システムに対する脅威に対抗するための情報共有、連携強化、標準化、教育などを推進する国際フォーラムです。FIRSTが提案・運用するものとして、センシティブな情報を共有する際の情報の取り扱いを規定するTLP(Traffic Light Protocol)[3]や、脆弱性が実際に悪用される可能性のスコアリングシステムであるEPSS(Exploit Prediction Scoring System)[4]が有名かと思います。

FIRSTでは、最新の情報セキュリティ情報、脅威動向、対策方法などを共有するための国際会議を開催しています。そのうち最も大規模で代表的なものが、年次で開催されるAnnual FIRST Conferenceです。私が今回参加したFIRST Technical Colloquiumは、技術的なトピックを中心に扱うより小規模な会議で、各地で定期的に開催されています。

Amsterdam 2025 FIRST Technical Colloquium

Amsterdam 2025 FIRST Technical ColloquiumはアムステルダムにあるW Hotelのカンファレンスルームにて、2025年3月25から3月27日の3日間にかけて開催されました。講演は1トラックのみで、席数が150~200席程度の規模感でした。当日の運営からのアナウンスによると、約30カ国の約80組織から参加者が集まったとのことです。小規模なカンファレンスだったためか、各講演後の質疑応答では、参加者からの質問やコメントが多く寄せられ、活発な議論が起こっていました。

会場のW Hotelは、アムステルダムの観光スポットとして有名なダム広場のすぐそばにあり、アクセスは良好でした。また、セッションの合間には適宜コーヒーブレイクがあり、昼時にはビュッフェ形式のランチが提供されるなど、ホスピタリティにあふれるカンファレンスでした。

講演一覧

3日間の講演の一覧を以下に示します。AIやクラウドをはじめとする技術トレンドや、ソフトウェアサプライチェーンに関連した脅威動向、セキュリティ対策が主なトピックとして多く取り扱われている印象を持ちました。また、セキュリティ対策やインシデント調査の実践事例を紹介する講演も多くありました。講演の内容は実務的だったと思います。

一部講演内容紹介

以下では私が特に興味深いと感じた講演を3つピックアップして紹介します。

Shadow Patching: Using AI to Discover Undisclosed Security Fixes in Open-Source　[5]

本講演では、オープンソースソフトウェア（OSS）のシャドウパッチに関するリスクと、シャドウパッチを、大規模言語モデル（LLM）を用いて検出する手法について紹介されました。

現代のシステム開発においてOSSは不可欠な存在であり、ソースコードの大部分がOSSに由来すると言われています。このような状況下では、システムが使用しているOSSを把握し、その脆弱性を管理することが極めて重要です。脆弱性管理手法としては、ソフトウェアコンポーネント分析（SCA）やソフトウェア部品表（SBOM）といった構成管理手法が広く利用されています。

これらの手法は、脆弱性情報として主にCVEを参照しています。そのため、脆弱性がCVEとして公開されないまま修正（シャドウパッチ）された場合、CVEを参照しているこれらの手法では、脆弱性を適切に把握できない可能性があります。また、CVEの発行・認定プロセス自体がボトルネックとなり、脆弱性情報の公開が遅れるケースも多いとのことでした。

このような課題に対し、講演ではOSSのセキュリティ関連の修正をLLMで検出し、その情報を公開するサービスである「Intel」[6]が紹介されました。Intelは、主要なOSSの変更履歴（Change log）を監視し、変更内容の中から、セキュリティに関連する可能性のある修正をLLMで検出するとのことです。検出後は、セキュリティエンジニアが手動で内容を確認し、脆弱性の深刻度などをスコアリングして公開しています。この手法により、2024年には550件の脆弱性が検出され、そのうちの67%はCVEとして公開されていなかったとのことです。

本講演で紹介されたシャドウパッチの実情にくわえ、CVEプログラムの将来に関する昨今の動向を考慮すると、脆弱性情報の収集チャネルを複数確保しておくことの重要性は、今後ますます高まるのではないかと思いました。今回紹介された手法は、セキュリティ分野におけるAI活用の興味深い事例であり、進化する脅威に対抗するためには、こうした革新的な技術を積極的に導入していく姿勢が不可欠だと改めて実感しました。

Engineering the Loop: SAP's Journey to Continuous Behavior Testing　[7]

本講演では、変化し続けるサイバー攻撃の脅威に対して継続的に対応していくためにSAP社が実践している取り組みが紹介されました。

新たな攻撃手法が次々と登場する一方で、一度設定したセキュリティのルールや防御策は時間の経過や環境の変化とともに最適とは言えなくなり、効果が薄れていく現状があります。このような背景から、SAP社では、BAS（Breach and Attack Simulation）ツールを活用し、自社の検知・防御ルールの有効性、セキュリティ対策のカバレッジ、セキュリティ管理能力全体を継続的に検証する仕組みを構築しているとのことです。具体的には以下のサイクルを継続的に実行しているとの紹介がありました。

1. Plan: CTI（Cyber Threat Intelligence）を活用し、注目すべき脅威を特定し脅威シナリオを策定
2. Test: BASツールなどを用いて、脅威シナリオに基づいた攻撃シミュレーションを実行
3. Analyze: 検知ルールの効率や防御機構が期待通りに働いたかを測定
4. Improve: 検知ルール、運用プロセス、セキュリティツールの設定や構成を改善
5. Validate:改善策が実際に効果を発揮するかどうか、再度テストを実行して確認

講演では、このような継続的検証の仕組みを組織全体に展開していくためのステップについても紹介されました。最初から大規模に展開するのではなく、ラボ環境や一部の限定的な本番環境などを対象に、社内で広く利用されている防御策（EDRなど）や、標準化されたログソースが集約されているシステム（SIEMなど）の検証から始めることを強調していました。そのうえで、テストの実行方法や評価基準などのノウハウを標準化し、徐々に対象範囲を広げていくと良いとのことです。

本講演は、継続的な検証の考え方、具体的な実践例、そして導入ステップまで示されており、非常に参考になりました。単なる理想論ではなく、現場の実践例というリアルな知見に触れることができる、とても貴重な講演だったと思います。そして何よりも、セキュリティ対策は一度構築したら終わりなのではなく、常にその有効性を問い続け、改善していくことが不可欠であると再認識しました。

LLMs are Unreliable for Cyber Threat Intelligence: How LLMs Show Low Performance, Inconsistency and Low Calibration in CTI Tasks　[8]

本講演では、CTI分野でのLLM活用に関する検証の結果が紹介されました。

近年、CTI分野でもLLMの活用に大きな期待が寄せられています。一方で、LLMには同じ入力に対して異なる応答を返すといった一貫性の問題や、LLMが示す確信度（Confidence）の信頼性に対する懸念も指摘されています。

これまでの研究では、LLMはCTI関連タスクを80%～90%という高い精度で実行できると報告されてきました。しかし講演者は、これらの研究で用いられているデータセットの多くが、実際の脅威レポートと比較して単語数が少なく単純化されているため、現実の複雑な脅威レポートを用いた場合のLLMの正確性は未知数であると指摘しました。

そこで講演者は、実際のCTIレポートをデータセットとして使用し、LLMによる情報抽出やAPTグループのプロファイリングといったタスクの精度と一貫性を検証しました。その結果、実際のCTIレポートでは、LLMは期待されたほどの精度を発揮できないことが明らかになりました。更には、ファインチューニングによって、逆に性能が悪化するケースもあったとのことです。また、LLMが示す確信度（Confidence）と実際の精度が必ずしも一致しないことも明らかになりました。この結果から講演者は、現状のLLMは現実規模のレポートを用いたCTIタスクの遂行において性能が不十分だと結論付けました。

この講演では、AIシステムの活用や開発において、AIの現状の能力と限界を正確に理解することの重要性を改めて認識しました。この報告ではLLMの性能の限界が示されましたが、一方で私は、現状でも運用上の工夫によって実用性を高められる余地があるのではないかと考えています。また、LLMは非常に速いスピードで進化を続けているため、今後の進展も引き続き注目していきたいと思います。

まとめ

本記事では、2025年3月25から3月27日にかけてオランダのアムステルダムで開催されたAmsterdam 2025 FIRST Technical Colloquiumの参加レポートとして、カンファレンスの概要と一部講演の内容を紹介しました。本記事で紹介した内容が、セキュリティ対策検討などの参考となれば幸いです。

参考文献

[1] Amsterdam 2025 FIRST Technical Colloquium
https://www.first.org/events/colloquia/amsterdam2025/

[2] About FIRST
https://www.first.org/about/

[3] Traffic Light Protocol (TLP)
https://www.first.org/tlp/

[4] Exploit Prediction Scoring System (EPSS)
https://www.first.org/epss/

[5] Shadow Patching: Using AI to Discover Undisclosed Security Fixes in Open-Source
https://www.first.org/events/colloquia/amsterdam2025/program#pShadow-Patching-Using-AI-to-Discover-Undisclosed-Security-Fixes-in-Open-Source

[6] Aikido Intel | Vulnerability Database
https://intel.aikido.dev/

[7] Engineering the Loop: SAP's Journey to Continuous Behavior Testing
https://www.first.org/events/colloquia/amsterdam2025/program#pEngineering-the-Loop-SAP-s-Journey-to-Continuous-Behavior-Testing

[8] LLMs are Unreliable for Cyber Threat Intelligence: How LLMs Show Low Performance, Inconsistency and Low Calibration in CTI Tasks
https://www.first.org/events/colloquia/amsterdam2025/program#pLLMs-are-Unreliable-for-Cyber-Threat-Intelligence-How-LLMs-Show-Low-Performance-Inconsistency-and-Low-Calibration-in-CTI-Tasks

執筆者プロフィール

大家　政胤（おおや　まさつぐ）
担当領域：リスクハンティング

脆弱性診断、ペネトレーションテスト、インシデント対応に関する業務に従事。
CISSP、CCSP、GPEN、CHFI、RISSを保持。