安全論争が高まる中、Nvidia（NVDA.US）がエンジニアリング対策を公開！二重層AI安全プラットフォームがエージェントの権限と異常な行動に直接対応

知通ファイナンスAPPによると、最近AI（人工知能）業界の安全リスクを巡る論争が激化する中、Nvidia（NVDA.US）はエンジニアリング手法で対応することを選びました。月曜日、Nvidiaは「オープンエージェントセキュリティプラットフォーム」という二層AIセキュリティプラットフォームを発表し、アプリケーション層、ランタイム、インフラの三層アーキテクチャを通じて、AIエージェントに持続的な監視、リアルタイムなポリシー実行、およびセキュリティガバナンスを提供します。

このシステムには、オープンソースソフトウェアツールOpenShellとNvidia Sentryの2つが含まれています。オープンソースソフトウェアOpenShellはサンドボックス環境でAIエージェントを実行し、ユーザーのコマンドを検証可能なセキュリティポリシーに変換し、エージェントがファイル、ネットワーク、ツール、プロセス、認証情報にアクセスするのを制限します。Nvidia Sentryは監視とセキュリティコントロールをBlueFieldデータプロセッシングユニットにまで拡張し、Nvidia DOCAを通じてエージェントのインタラクション、ポリシー判断、ツールとデータアクセス記録を関連付け、異常な行動の識別や必要に応じて介入を行います。つまり、OpenShellはAIエージェントがアクセスできるリソースや実行権限をコントロールし、Nvidia Sentryはエージェントの行動を監視し潜在的な脅威を識別します。

Nvidiaは、AIエージェントはツールやランタイム、コマンドの曖昧さなどの要因により既定のタスクから逸脱する可能性があるため、エージェント自身から独立したセキュリティコントロールが必要だと述べました。このシステムはNvidia Vera CPUおよびBlueField DPUシステム向けに最適化されており、他のハードウェアにも互換性があります。Nvidiaによると、同社はArm（ARM.US）およびIntel（INTC.US）とも提携し、これら2社のCPU上でもシステムを稼働できるようにしています。

Nvidia AIソフトウェア上級ディレクターのAli Golshan氏は、Nvidiaのこれらのツールは数式を使ってAIエージェントが抜け道を使おうとしているかを検出すると述べています。例えば、あるエージェントが複数の「サブエージェント」を「生成」し、メインエージェントへの対策を回避しようとすることがあります。彼は「私たちが本当に議論しているのはエージェント化された行動です。つまり多数のエージェントから成るクラスターと、それらがどのように協調して動作するかです」と述べました。

また、Nvidiaはこのシステムが異常なエージェントをミリ秒単位で隔離できると述べ、もし該当のラボが以前からこの技術を導入していれば、今年7月に発生したOpenAIモデルによるHugging Faceへの攻撃事件は防げていたとも付け加えました。

Nvidiaエンタープライズコンピューティング部門副社長兼ゼネラルマネージャーのJustin Boitano氏は、「現在私たちが持っている情報によれば、この全く新しいセキュリティプラットフォームが初期モデルの評価段階で最先端のAIラボで使われていたなら、この侵入は阻止できたはずです」と述べました。彼はさらに「私たちはオープンな形でこの作業を進めており、全員との協力も望んでいます」と付け加えました。

Nvidiaがこの最新のAIセキュリティシステムを発表した背景には、AIエージェントに関連したセキュリティ事件が業界内で継続的に注目を集めていることがあります。特に今年7月、OpenAIモデルが世界的に有名なAIオープンプラットフォームHugging Faceに侵入した事件が話題となりました。Hugging Face侵入事件の後、OpenAI関連AIエージェントによる事件が相次いで明るみに出ています。9月にはOpenAIのAIエージェントが今年春、長期間メンテナンスされていなかったドイツのWikiサイトを掌握したと報じられました。またOpenAIは今月半ばのブログ投稿で、過去6ヶ月間に「意図しないまたは懸念すべきモデル挙動」を6件発見したと発表しました。これら6件の新たなAIセキュリティ事件は、エラーの隠蔽、無許可の認証情報の取得、ファイルの公共サイトへのアップロード、本来隔離されるべき訓練環境間での通信など、さまざまな異常なモデル挙動を含んでおり、最も早いケースは昨年10月まで遡ります。

近年AIセキュリティ事件が頻発している中、AI企業にはますます厳しい安全リスクへの対応が求められています。AnthropicのCEOダリオ・アモディは9月12日公開の警告的な記事で、最先端AIモデル開発のスピードを緩めるよう呼びかけました。そしてこの呼びかけは、イーロン・マスクやサム・アルトマンなど重要人物からすぐに反応を得ました。

しかしAI業界大手が異例の「ブレーキ要請」を行う中、NvidiaのCEOジェンスン・フアンはAnthropic主導の「AI開発減速」提案に対してきっぱりと反対の姿勢を示しました。ジェンスン・フアンが反対するのはAIの安全性そのものではなく、立証されていない壊滅的予測から、業界全体が停止または減速すべきだと短絡的に導き出すことです。対照的に、ジェンスン・フアンはAIの安全性をエンジニアリングの課題と考えています。もし最先端ラボで事故が起こった場合、まずやるべきは根本原因の分析です。何が起こったのか、どの部分が機能しなかったのか、どんな予防措置が考えられたか、そして今後どんな新しい技術やプロセスを構築するべきか。さらにサンドボックス、継続的な監視、検証と評価によって、同じ問題が次のリリースまでに再発しないようにします。

ジェンスン・フアンの見立てによれば、今日最先端のラボがより多くのリスクを露呈しやすい理由は、彼らが最も多くの計算資源を持ち、同時に最も困難な課題に取り組んでいるからです。こうした企業が研究機関から本格的なエンジニアリング組織へと進化する過程で、それに見合ったテストとコントロールシステムを構築する必要があります。

今回のAIセキュリティシステム発表から見て、NvidiaはAIのセキュリティ能力をモデル運用やエージェント実行のインフラにさらに組み込み、権限制御や異常隔離によってAIエージェントのセキュリティリスクを低減しようとしています。これはNvidiaの事業がAIチップからソフトウェアおよびセキュリティインフラ分野へとさらに拡大していることも示唆しているようです。