エージェントAIの技術開発が急速に進んでいる（写真：Adobe stock）

デジタルなつながりと制御システム　

【監査役】人文泰策

お二人とも、お元気そうで。早速ですが、「デジタルリスク懇話会」第二回目を始めるとしましょう。前回は大きく後ろに引いて、デジタルなつながりの問題領域全体のおおまかな見取り図を確認しました。話の要点を社長に報告したら、とても面白がってくれましたよ。人文系の視点でデジタル経営を考えるのは新鮮で参考になるかもしれない、と。

【社外取締役】栗栖梨花

あら、望外なお言葉。

【監査役】人文泰策

今回からの議論は各論に入ります。今日はデジタル技術とガバナンスの交差を哲学的にほぐしてみましょう。

【社外取締役】栗栖梨花

わたくしも前回の対話で刺激を受けて、学生時代に読んだウィーナーの「サイバネティックス」を読み返していました。心の動きから生命や社会までもダイナミックな制御システムとして捉えようとした思考実験に世界が刮目したわけです。文庫版解説で大澤さんが、「サイバネティックスは新しいシステム理論の中で蘇生する」と書いておられましたけど、なんだか自分も先見の明があったようで嬉しくなりました。

【CISO】大所瞬時

副題に「動物と機械における制御と通信」とある本ですね。80年前に統計的情報論と制御論の統合を提示し、フィードバック原理を搭載した誘導弾を生み出し、AIやロボティクスの基礎を築いた方でもあります。サイバーセキュリティの“サイバー”もそこから来ています。

生成AIのLLMモデルによる超高度な統計的処理の驚異的スピードは、AIメーカーに世界的覇権と寡占市場をもたらしています。他方、エージェントAIの技術開発の中で起きている制御力の破れ事例は「暴走」の懸念として捉えられ、政治的ひいては制度的な制御を求める声もAI業界や関係者から上がっています。

【社外取締役】栗栖梨花

新型コロナパンデミックの時に似ているといったら怒られるかもしれませんが、燎原（りょうげん）の火のごとく広がった問答型生成AIを追いかけて様々な亜種のAIがでてくる中、ハルシネーションどころではなく、エージェント型は自己判断で暴走してしまうといいます。制御力崩壊の恐れは、社会的なパンデミックを引き起こしかねません。

もちろん比喩ですが、制御不能なAIの広がりを“感染”と捉えると、そのうち何処からともなく「AIワクチン」も出てくるのではないかしら？と勘ぐってしまいます。政府もAI促進法を制定して、企業各社がAIを導入するのを促進していますからね。

デジタル技術が主体に就くニヒリズムの時代

【監査役】人文泰策

話のスピードを上げすぎるとサーキットの外に飛び出てしまいますよ。

さてと、懇話会の本題である当社におけるAIとガバナンスの問題に入りましょう。まずは、前回のおさらいで全体のデッサンの確認をしましょうか。

【社外取締役】栗栖梨花

わたくし自身は、三つの問題意識を抽出しております。

第一に、世界がデジタルリスクでつながる中で、企業の責任の境界が曖昧になりつつあること。

第二に、ビジネスの価値がモノの所有権だけでなく、デジタルな関係性というコトの領域に溶け込む中、責任の所在を同定することが難しくなっていること。

そして第三に、今や縦のガバナンスから横のサプライチェーンを超えて、商取引だけでなく通信や業務委託、そしてネットで繋がった機器やロボット、AIを含めたデジタルエコシステムという異次元空間に座標軸をずらして考える必要があること。

つまり、ガバナンスの観点からは、スピーディで変動幅の大きい技術リスクの中で当社がどのように的確な現状認識と経営意思に基づくポジショニングを確保・維持できるのか、という課題になろうかと思います。

【監査役】人文泰策

それで結構です。本懇話会シリーズ１のテーマは「コーポレートガバナンスの越境問題」です。デジタル技術の影響は、従来のガバナンス諸施策をどう迂回して会社の土台を揺るがすのか、という問いの立て方と言っていい。ただ、実態を踏まえたうえで展望をもった議論をすることが大切です。

【CISO】大所瞬時

ちょっと哲学は苦手なので、まずは現場の実態を報告します。

「第四次産業革命」といわれる情報技術革命も佳境に入って、経営の命題も、IT化　→　情報のデジタル化　→　仮想化　→　クラウド化　→　IoT（モノのインターネット）　→　DX（デジタルによるビジネス変革）、そしてAX（AIによるビジネス変革）と矢継ぎ早です。セキュリティ業界のシンクタンクによれば、2028年にはセキュリティ対応の5割が、AI関連アプリケーションに振り向けられるとのことです。実際、相談事は増える一方です。

ただ問題は、従来のセキュリティリスク評価手法も、限界を迎えつつあることです。まず、AIシステムが確率的に動作し、導入後も変化するので、セキュリティログ（証拠）が不完全になりがちです。またサイバーセキュリティは、もともと情報セキュリティから育ったので、機密性、完全性、可用性の3つの視点から対策が組み立てられています。要するに静的なモデルなのです。

今や動的なAIリスクに注目が集まっています。評価基準には、堅牢性や説明可能性も必要ですが対応はこれからです。さらに、ドリフトやハルシネーション、或いはモデル依存性ないしデータ依存性といったAI固有のリスク評価はどの部署が担当するのか、それすら決まっていません。

AI業界が、新たな技術を市場に売り出す様は、無限の自由をもつプロメテウスのようだ（写真：Adobe stock）

【監査役】人文泰策

(笑)、いやはや「プロメテウス落差」（ギュンター・アンダース）とはこのこと。AI業界はプロメテウスのように無限の自由をもって新たな技術を市場に出すのだけれども、利用者たる人間界もビジネス界も付いていけない。

そういう意味では、デジタルリスクへの対応は、既存のセキュリティメガネは外してしまって、まっさらな眼で見直さないといけないのかもしれません。リスク関係部署総がかりで。たとえばAI単体を超えて複数AIが連動する挙動、具体的には無数のAIが集合体として行動する群知能（マーケットのフラッシュクラッシュなど）とか（自己保存や資源の確保を副次目標とする）道具的収束の「悪」影響などは特にそうですね。

【社外取締役】栗栖梨花

いまの「悪」という視点ですが、「悪」というのはどういうことなのか、という哲学的な整理は重要ですね。

例えば、セキュリティチームの報告書によく脅威アクターという言葉があります。「悪の主体」ですよね。善き主体は暗黙的に当社ということです。ある意味で伝統的なマニ教的な善悪二元論があるのでしょうが、天災含めて様々なリスクレポートをいただく立場のわたくしとしては、あらためてデジタル技術のもたらす「悪」の概念整理をしてみたいところです。

AIが暴走するニュースが相次ぐ。「悪」とは一体何なのか（写真：Adobe stock）

【監査役】人文泰策

いいところを突いてきますね。先の「サイバネティックス」を書いたウィーナーのいう「悪」とは、アウグスティヌス的な悪であり、「秩序としての善の不在」ということなのですね。情報のノイズ（機能不全）やエラー（制御不能状態）が増大することで秩序（ネゲントロピー）維持が図れなくなることを悪と捉えたのです。

このところ急に、AIは「暴走」し、やがて人類を滅ぼす可能性があるという識者が増えてきましたね。だから、個々人や各種組織に統制主体を委ねることなく、国家が規制を作るべきだと主張しています。それでも世の中全体は、パクスエコノミカが優勢ということもあって、関係各社は技術的進歩を独自に志向し、従来のIT技術や生成AIはおろかエージェントAIからAGI（汎用人工知能）やASI（人工超知能）に向かう、という積極的なニヒリズムの中にありますね。

人類が滅亡するかどうかという可能性は、いまここで議論しても仕方ないことですが、デジタル技術によるリスクは、再帰性があると言っていいでしょう。コーポレートガバナンスにおいても、いまや「デジタル技術」が歴史的な主体の座に就こうという勢いだという認識をもつことは大切ですね。イヴァン・イリイチの言うように、やがて「人間（経営陣）」は廃位されてしまうのかもしれないとまで悲観的になる必要は、まだないと思いますけれども。