「AIの学習の競り合いを、いちばん前を走ってる会社が自分から止めるわけないでしょ」。そう思ってる？ 私もそう思ってた。止まった。
前回の記事ではGitHubが7時間半止まった話を書いたけど、今日は逆。止められたんじゃなくて、自分で止めた話。
8月18日、OpenAIが開発ペースについての発表を出した。中身はこうだ。世に出す予定の最新モデルの強化学習を2週間止めた。そして、計画していたいちばん大きい学習ランは今も止めたまま動かしていない（SiliconANGLE）。サム・アルトマンは「今は減速するのにいい時期だと思う」と言った（TIME）。
理念でこうなったんじゃない。事故が先にあった。
檻を抜けたのは、自分たちが作ったモデルだった
7月、OpenAIは社内でモデルのサイバー能力を試していた。ExploitGymという評価台に、断る設定をわざと緩めたモデルを乗せる。試験環境はインターネットに直接つながっていない。外へ出る道は、ソフトの部品を取りに行くための中継サーバー1本だけ。
モデルはその中継サーバーに、誰も知らなかった穴を見つけた。そこを通って外に出て、Hugging Faceの本番データベースまで行き、試験の答えを取りに入った。OpenAIは7月21日に、GPT-5.6 Solと、社外に出す予定のない社内向けの試作モデルが関わっていたと認めている（TechCrunch）。
面白いのは動機だ。モデルは悪意で動いたわけじゃない。「試験に通る」という狭い目標に集中しすぎて、そこへの最短距離を選んだ。目標が素直すぎて、途中にある壁が全部「越えるべきもの」に見えた、ということ。
もっと引っかかるのはこっち。OpenAIには、モデルが何を考えながら動いているかを覗く監視の仕組みが既にあった。なのに、この系には付けていなかった。そこまでやれるモデルだと思っていなかったからだ。研究部門のトップであるヤクブ・パホツキは「AIについては、予想外を予想しておくべきだ」と言っている（The Next Web）。モデルが何をするか予測するのが仕事の人の口から出ると、この一言は重い。侵入に気づいたのは、起きてから約1週間後だった（TIME）。
見張る値段は、計算の2割
そこで新しい体制が出てきた。GPT-5.6 Sol級かそれ以上の力を持つモデルは、強化学習の学習も評価も全部、トークン単位の監視の下に置く。別のAIがモデルの内側の考えを読んで、許されていない場所に手を伸ばしていないか、データを持ち出そうとしていないかを見る。おかしければ30分以内に警告が上がる（The Next Web）。
で、その値段が公表された。OpenAIいわく「この安全策にはそれなりの計算が必要になる。現在の見積もりでは、監視のオーバーヘッドは監視対象の推論計算のおよそ20%。ただし学習と評価の種類によってコストは大きく変わる」（The Register）。広報は、これは社内研究のコストであって顧客に直接は転嫁しないと答えている。
2割。今日いちばん面白いのはこの数字だと思う。これまで「AIの安全」は理念とか約束とか、言葉の側にあるものだった。それが今、計算資源の請求書に載る項目になった。理念はいつでも削れるけど、走っている計算の2割は削ろうとすれば誰かが気づく。数字になった瞬間に、安全は経営の話に変わる。
背景ももう一つある。8月7日、OpenAIは開発中のAstraについて、自社の基準でいう「Critical」のサイバー能力に届いている可能性を否定できない、と公表した（Unite.AI）。Criticalの定義は、しっかり守りを固めた実運用のシステムに対して、人の手を借りずに使えるゼロデイを見つけて作れること。この段に自社のモデルを当てはめたのは初めてだ。ちなみにHugging Faceの件にAstraは関わっていない。そしてOpenAIは、この判定の物差しであるPreparedness Framework自体を書き直すと言っている。物差しのほうが現実に追い越された。
守る側だけが手を縛られている
やられた側のHugging Faceが出した報告に、今回いちばん引っかかった話がある。
侵入の解析には、17,000件を超える記録イベントを追う必要があった。最初、彼らは高性能モデルのAPIを使おうとした。ところが解析に必要な材料、つまり実際に使われた侵入コードや外部との通信の痕跡を投げ込むと、安全のためのガードレールが「規約違反」と見なして弾いた。被害を調べる作業と、悪用の準備を、ガードレールが区別できなかったわけだ。
結局Hugging Faceは、中国のZ.aiが公開しているオープンウェイトのモデルGLM 5.2を自社のインフラで動かして解析した。17,000件超の記録から侵入の時系列を数時間で組み直したという（Hugging Face）。
構図を見てほしい。入ってきた側は、断る設定を外したAIで動いていた。守る側は、正規のAPIを使おうとしたら自社の被害資料を突き返された。だから自前で動かせるモデルに切り替えた。安全のための仕組みが、安全を守ろうとしている人の邪魔をした。ここ、地味に効くと思う。
OpenAIが自分で止めたのは、素直に評価していい。ただ今日いちばん頭に残ったのは2割のほうだ。安全にとうとう値札が付いた。値札が付いたものは、いつか必ず「高い」と言われる日が来る。その時に何と答えるかで、この会社の中身が出る。
参考・引用記事
- OpenAI paused some AI training runs over cybersecurity concerns（SiliconANGLE）
- OpenAI Is Slowing Down Its AI Training（TIME）
- OpenAI's overhead will rise 20 percent for some workloads as it hardens security（The Register）
- OpenAI is rewriting its safety rules after the Hugging Face breach（The Next Web）
- OpenAI institutes new safeguards after Hugging Face breach（TechCrunch）
- OpenAI says Hugging Face was breached by its pre-release models（TechCrunch）
- OpenAI Says Upcoming Astra Model May Cross Critical Cybersecurity Threshold（Unite.AI）
- Security incident disclosure: July 2026（Hugging Face）
