FBI Sentinel 9·11から25年の組織改革の教訓

9·11以前のFBIは、手がかりがなかったのではなく、散在する情報を結び付けられず、リスクを見逃した。その後のVCFの失敗とSentinelの立て直しは、AI導入より先に業務フロー、知識構造、検証サイクルを変えるべきだという教訓を残した。

9・11以降、FBIが得た核心的な教訓は、ツールよりも先に業務構造を変えるべきだという点だ。分散した情報と遅れた検証はVCFの失敗につながり、Sentinelは短い開発サイクルと現場からのフィードバックを導入した後、2012年に全面展開された。

この記事の数値と年表は、2004年の委員会報告書と2012~2014年のSentinel監督記録に基づいている。

9・11以前にFBIが見逃した兆候

FBIには、攻撃前に検討に値する手がかりが存在した。問題は、手がかりが異なる組織やシステムに分散していたことだ。現場の情報が本部の判断につながる経路も弱かった。約3,000人が死亡した2001年の攻撃は、この断絶を浮き彫りにした。

代表的な事例は、フェニックス・メモとミネアポリスの捜査だった。フェニックスの捜査官は2001年7月、飛行学校の動向を報告した。ミネアポリスの捜査官らは、ザカリアス・ムサウィの所持品の捜索を進めた。この2つの情報は、攻撃計画を示す統合的な警報には発展しなかった。

9・11調査委員会は、情報共有だけを問題視したわけではない。分析能力と管理体制の欠陥も併せて指摘した。以下の文は、報告書の関連箇所を韓国語で表現したものを訳したものである。

「FBIは、自らがすでに保有している情報さえ十分に把握していなかった。」—『9/11調査委員会報告書』

この事例を単なるデータ不足と捉えると、本質を見失う。情報があっても検索できなければ活用できない。責任者がいなければ、複数の手がかりを結び付けることも難しい。反対意見を上げる経路が弱ければ、警告はさらに容易に消えてしまう。

VCFとSentinelの進行年表

FBIによる電子事件管理への移行は、2つのプロジェクトを経て進められた。VCFは実際の業務に導入されないまま、2005年に中止された。Sentinelも初期にはスケジュールと費用の管理に苦しんだ。しかし、2010年の再編後、2012年に全面展開へと到達した。

時点 出来事 組織運営上の意味
2001年9月 9・11攻撃が発生 情報連携と分析体制の欠陥が明らかになる
2004年 9・11調査委員会報告書を刊行 情報共有と管理能力の改善を勧告
2005年 VCFの開発を中止 大規模な一括開発のリスクが現実化
2006年 Sentinelプロジェクトを開始 Webベースの電子事件管理システムを再び推進
2010年 開発手法と管理構造を再編 短いサイクルと内部開発能力を拡大
2012年7月 Sentinelを全面展開 FBI全体の事件管理基盤へ移行
2014年 米国司法省の監察報告書を発表 実装の成果と残された運用課題を点検

VCFには約1億7,000万ドルが投入されたとされる。ただし、監査文書ごとに契約費と関連プロジェクト費の範囲が異なる。したがって、この金額をFBI全体の近代化費用と捉えてはならない。VCF自体が事件管理システムとして稼働できなかったことは明らかだ。

Sentinelの当初のプロジェクト規模は4億2,500万ドルだった。プロジェクトは複数の段階に分けられていたが、スケジュールの遅延が積み重なった。2010年には、従来の計画では完遂が難しいとの判断が下された。FBIは範囲を再分割し、開発の統制を内部に移した。

VCFと再編後のSentinelの比較

2つのプロジェクトの違いは、ソフトウェアの名称よりも検証方法にあった。VCFでは、完成した成果物の確認が遅れるという問題が大きかった。再編後のSentinelは、動作可能な単位を頻繁に公開した。現場ユーザーからのフィードバックも次の開発サイクルに反映した。

比較基準 VCF中心のアプローチ 再編後のSentinelのアプローチ
成果物の規模 広い範囲を一括して統合 機能を小さな単位に分割
検証時点 後半の統合段階に集中 短いサイクルごとに動作の可否を確認
ユーザー参加 最終段階で問題を確認する可能性 現場捜査官が繰り返しフィードバック
要求変更 設計全体に大きな修正負担 次の開発サイクルに優先順位を反映
責任構造 契約業者への依存度が高い FBI内部の統制と開発能力を拡大
失敗の範囲 欠陥がシステム全体に拡散 小さな単位で欠陥を発見し修正

これをアジャイルという1つの方法論の勝利だけと見るのは不十分だ。FBIはプロジェクトの範囲と指揮系統も併せて見直した。内部の技術人材の役割も拡大した。短い開発サイクルは、こうした変化を機能させる手段だった。

AI導入状況別の整理

AIを適用する場所によって、先に改善すべき業務は異なる。文書検索にはメタデータとアクセス権限が必要だ。意思決定支援には根拠と承認手続きが必要だ。自動化には例外的な状況を処理する担当者が必要だ。

AIの適用状況 先に確認すべき組織的条件 初期の検証対象
社内文書検索 文書所有者、保存基準、アクセス権限 最新文書を検索できるか、出典が表示されるか
報告書の草案作成 承認者と事実確認の責任 数値の誤りと根拠の欠落
顧客からの問い合わせ分類 分類基準と引き継ぎ担当者 誤分類率と緊急問い合わせの見落とし
開発支援 コードレビュー担当者とセキュリティポリシー 脆弱性、ライセンス、テスト通過の可否
意思決定支援 最終決定権者と異議申し立て手続き バイアス、情報の欠落、説明可能性

まず、1つの業務を開始から終了まで図示する必要がある。次に、待ち時間と重複入力を示す。AIはボトルネックが確認された箇所に限定的に適用する。結果は精度だけでなく、修正コストまで測定しなければならない。

AI時代に加わった知識構造の問題

生成AIは、分散した情報をもっともらしく結び付けることができる。しかし、アクセスできない文書は結び付けられない。古い文書が多ければ、古い回答を生成する可能性がある。互いに矛盾する規定について、自ら責任を負うこともできない。

そのため、AI時代のナレッジ管理を保存量で評価するのは難しい。文書ごとに作成者と適用期間を表示する必要がある。廃棄の有無と承認状態も区別しなければならない。回答から原文の根拠を再び見つけられるようにする必要がある。

次の項目は、モデル選定前に点検できる。

この観点は、過去のFBI事例にはなかった新たなリスクも示している。過去には、情報を検索できないことが大きな問題だった。今では、誤って結び付けられた情報が急速に拡散する可能性がある。検索可能性と検証可能性を併せて設計しなければならない。

よくあるミスと誤解

第一に、9・11を単なる情報不足の事件として説明してはならない。複数の手がかりは存在したが、併せて分析されなかった。組織構造と判断手続きも結果に影響を与えた。データの収集量を増やすだけでは、同じ問題を防ぐのは難しい。

第二に、VCFの失敗をウォーターフォール方式だけに還元してはならない。要件管理と契約監督にも問題があった。ユーザー参加と技術的な統制も十分ではなかった。開発手法は複数の原因のうちの1つだった。

第三に、Sentinelがアジャイルを採用したことで自動的に成功したと考えてはならない。プロジェクト範囲の再調整とリーダーシップの変化が並行して行われた。内部人材もより大きな責任を担った。方法論は責任構造の代わりにはならない。

第四に、世界貿易センターの崩壊を確定的な「14秒」という1つの数字で説明すると、不正確になる可能性がある。2つのタワーは、衝突と崩壊の時点がそれぞれ異なっていた。崩壊時間も測定基準によって表現が異なる。核心的な教訓とは無関係な単一の数値は、慎重に扱わなければならない。

組織に適用する実行手順

AIの導入は、小さな業務単位で検証する方が安全だ。目標はツールの利用率ではなく、業務成果で定めるべきだ。失敗を早期に発見するための中止基準も必要だ。次の手順は、1つの業務を試験する際に使用できる。

  1. 反復が多い、または遅延が頻発する業務を1つ選びます。
  2. 入力情報と最終承認者を記録します。
  3. 現在の処理時間とエラーの種類を測定します。
  4. AIが担う範囲と人が担う範囲を分けます。
  5. 小規模なユーザーグループに先行導入します。
  6. エラーと修正時間を次のサイクルに反映します。
  7. 基準を満たした場合に限り、適用範囲を拡大します。

成果指標を利用回数だけで定めないでください。処理時間と手戻り量を併せて確認してください。重大なエラーがどれほど早く発見されたかも確認してください。現場からのフィードバックが実際の変更につながったかどうかも記録する必要があります。

FBI事例が残した組織への問い

この事例は、AIが組織の既存の習慣を増幅し得ることを示している。情報が孤立している組織では、AIも不完全な文脈しか与えられない。承認段階が不明確であれば、迅速な生成が手戻りを増やす。検証を先延ばしにすれば、エラーも大規模に蓄積する。

組織は、まず3つの問いに答えることができる。

FBIのSentinel事例の核心は、特定の開発手法を再現することにあるのではない。不確実性を小さく分け、頻繁に確認するという運用原則にある。AIツールも同じ統制下に置かなければならない。組織の学習速度が導入速度を上回る必要がある。

FAQ

FBIは9・11関連の情報をまったく持っていなかったのでしょうか?

いいえ。飛行学校の動向やムサウィ捜査のように、検討すべき手がかりが複数の組織に存在していました。ただし、情報を統合して分析し、適時に意思決定することにはつながりませんでした。

VCFはなぜ実際の事件管理に使用できなかったのでしょうか?

要件変更と契約管理の問題が積み重なりました。後半に統合上の不具合が明らかになり、修正費用も増大したため、FBIは2005年にVCFを中止しました。

Sentinelはアジャイル方式だけで立て直されたのでしょうか?

アジャイルは立て直しの過程における一要素でした。FBIは開発範囲を再分割し、内部統制を強化するとともに、現場ユーザーのフィードバックをより頻繁に反映しました。

Sentinelはいつ全面展開されたのでしょうか?

Sentinelは2012年7月にFBIの全組織へ展開されました。これは2010年の事業再編から約2年が経過した時点です。

この事例をAI導入にどのように応用できますか?

まず、情報の所在と承認責任を明確にする必要があります。小規模な業務にAIを適用した後、エラー、手戻り時間、現場のフィードバックを測定し、範囲を広げていく方法が適しています。

AI導入の成果を利用量で評価してもよいのでしょうか?

利用量だけでは業務改善を判断するのは困難です。処理時間、エラー率、手戻り量、重大なエラーの発見までの時間、実際に改善したかどうかを併せて評価する必要があります。

Sources

Images

壁一面の業務フロー図を指しながら同僚に説明する女性
壁一面の業務フロー図を指しながら同僚に説明する女性
大型タッチテーブルで業務フローカードを確認する2人の分析担当者と背後のデータ画面
大型タッチテーブルで業務フローカードを確認する2人の分析担当者と背後のデータ画面