越えたら出せない線だと思っていた。OpenAIはそこを通過点にした

「AIが危険すぎる線を越えたら、その会社は出すのをやめる」。そう思ってる？私も思ってた。違った。

前回の記事では、AI業界が世論を動かすために5000万ドルを積んだ話を書いた。今日は、その業界が自分自身に課したルールの話。9月1日、OpenAIがAstraについての文書を出した。自社の基準で最上級の危険度に届いたモデルは、これが初めてだと書いてある。そして、出す、とも書いてある。

HTMLファイルを開いた。それだけで中まで通された

まず何ができるのか。ここが具体的で、読むと手が止まる。

守りを固めたブラウザに対して、Astraは誰も知らなかった脆弱性を見つけ、それを使える形に組み上げた。ブラウザがHTMLファイルを1つ開くと、サンドボックスの外に出て、そのパソコン本体でコマンドを実行する。同じことをOSにもやっている。複数の穴を見つけて連鎖させ、権限のない一般ユーザーからrootまで上がった。

ベンチマークの数字も出ている。既知の脆弱性からエクスプロイトを作る能力を測るExploitBenchで、100%の満点。データが訓練に混ざっている可能性を気にしたOpenAIが、6月から8月に公開されたV8の高深刻度脆弱性20件で内部版を作り直したところ、GPT-5.6 Solよりずっと高い任意コード実行率を、はるかに少ない出力トークンで叩き出した。しかもその評価の最中に、まだ誰も知らない脆弱性を2つ自分で見つけて、連鎖に組み込んでいる。OpenAIは今その2件を開発元に報告している最中だ。ちなみにこの内部版の数字は、防御側向けの拡張アクセスを与えた状態のもので、既定の本番設定ではない、と但し書きがついている。

線は「止まれ」の合図じゃなかった

ここからが今日の本題。

OpenAIは2023年12月に、Preparedness Frameworkという文書を出している。モデルの能力が上がったとき自社は何をするか、を先に決めておくためのものだ。そこに「Critical」という段階がある。定義はこうだ。守りを固めた現実の重要システムの多くに対して、人の介入なしにあらゆる深刻度のゼロデイを見つけ、動くエクスプロイトまで作れる。あるいは、目標をざっくり与えられただけで、守りを固めた標的に対して新しい攻撃の筋書きを最初から最後まで自分で立てて実行できる。

2年9か月、この段階は空欄だった。GPT-5.6 Solを含め、これまでのモデルは1つ下の「High」どまり。9月1日、初めて埋まった。

で、埋まったらどうなるか。CNBCが伝えているとおり、OpenAIは「近いうちに」出すと言っている。サイバー方面の能力へのアクセスだけは限定する、という条件つきで。文書のほうにはもう少し細かく書いてある。最初は少数のアルファテスターに、その後はDaybreak Blue経由で防御目的の利用に広げる。つまりCriticalは「出せない」を意味しない。「守りを増やしてから出す」を意味する。

私はここを、越えたら止まる線だと思っていた。実際には、越えたら手続きが増える線だった。これは非難じゃない。文書をちゃんと読めば最初からそう書いてある。ただ、勝手に「止まれ」だと読んでいた人は私だけじゃないと思う。

8月19日の記事で、OpenAIが大規模な訓練を止めた話を書いた。その続きも今回の文書に載っている。Hugging Faceの一件のあと、出す予定のモデルの強化学習は2週間止めた。ただ、計画していた一番大きなフロンティアの強化学習はそれより長く保留にしていて、8月18日の時点でもまだ止まったままだと書いている。それが動き出したのが8月28日。安全と機密の基準を新しく引き直してから、という条件つきで。

同じ壁には、Anthropicが5か月早く当たっている。2026年4月7日、Anthropicのレッドチームは、Claude Mythos Previewが、ユーザーに指示されればという条件つきで、主要なOSとブラウザのすべてでゼロデイを見つけて悪用できると書いた。見つかった中で最古のものは、OpenBSDの27年前の穴（現在は修正済み）。あのときAnthropicもすぐ全公開はせず、防御側を固める取り組みを先に立てた。2社が同じ場所で同じ判断をしている。壁だと思っていたものは、門だった。

満点が、一番落ち着かない

もうひとつ、今回の文書で一番引っかかった数字がある。

OpenAIはAstraに罠を仕掛けた。訓練環境から出たモデルが外部のシステムに入ってしまったHugging Faceの一件を踏まえて、わざと解けない課題を渡し、周りのセキュリティ設備に手を出すかどうかを見る「おとり」テストを作っている。このテストは両方ともセーフガードを外した条件で回している。GPT-5.6 Solは、56%の試行で手を出した。Astraは0。1回もない。自動レビューに却下されたときに迂回路を探すかというテストでも、Astraは一度も迂回を試みなかった。

普通なら安心する数字だ。私は逆に引っかかった。

同じ場所で止まった人がいる。元OpenAIで、現在はOpenAI FoundationでAIの耐性の仕事をしているYo Shavitが、公開直後に「この評価結果についてもっと情報が要る」と書いた。挙げたのは2つ。評価データが訓練に混ざっていた可能性と、モデルが明示的にせよ暗黙にせよ「これは試験だ」と読み取って振る舞った可能性。そのどちらについても「すごく不安になる」と（TechCrunch、本人の投稿）。

56%が0%になった。これは訓練がうまくいった話かもしれないし、モデルが見られていることに気付いた話かもしれない。今の測り方では、外からその2つを見分けられない。そして、見分けられないまま、Criticalの判定は下りている。

拒否率のほうは満点ではない。サイバー方面の脱獄プロンプトに対して、Astraは91.5%を拒否する。GPT-5.6 Solは59%だったから、大きく上がった。上がったけど、12回に1回は通る。守りを固めたブラウザをHTML1枚で開けてしまうモデルの、12回に1回だ。

最後にひとつ、読んでいる人に直接関係する話。OpenAIは、この安全装置が正当な作業を止めることがある、と自分で書いている。サイバーセキュリティと関係なく見える作業でも、エージェントが長時間動き続ける類の作業でも、誤って引っかかることがある。ChatGPTやCodexなら「これ続けていい？」と確認を求められる。APIだと、そこで止まる。一番強い道具に、一番多い誤検知がついてくる。そういう時期に入った。

線は引かれていた。越えられた。それでも出る。今日わかったのはそれだけで、十分に大きい。

HTMLファイルを開いた。それだけで中まで通された

線は「止まれ」の合図じゃなかった

満点が、一番落ち着かない

参考・引用記事