加速が正しいとは思わない。でも道はそっちに続いている、とOpenAIの研究責任者が書いた

「AI企業が『減速しよう』とか言い出したらしい」。またポーズでしょ、と思った？私も見出しだけなら流していた。書いた人の名前を見て手が止まった。

9月6日、OpenAIのチーフサイエンティストであるJakub Pachockiが「An Alien Mind」という文章を出した。中身はこうだ。今のところ、どのラボもアラインメント（AIを人間の意図どおりに動かすこと）と監視を、最大速度でのスケーリングをこの先も責任を持って続けられるほどには解決していない。自主的な減速が当たり前になることを期待し、望む、とも書いている（Unite.AI、原文はOpenAI）。

言っているのはOpenAIの研究部門を率いている人だ。世界で一番強くアクセルを踏んでいる側の人間が、減速を口にした。

正しいとは思わない。でも道はそっちに続いている

読んでいて一番引っかかったのは、彼が自分の立場を隠していないところだ。

深層学習の研究を大きく加速させることが、特に短期的に見て、研究コミュニティとして取るべき正しい集団行動だとは思わない。彼はそう書いている。そのすぐ後に、しかし今の道はそこに続いている、と続ける。

同じ文章の中で、内部の結果を見る限りこの進歩の速度は再帰的自己改善まで続くという強い予感がある、とも書いている。再帰的自己改善というのは、AIが自分自身の改良を回し始める状態のこと。そしてOpenAIはそこに向けて研究を組み立てている。最前線に残る唯一の方法だと考えているからだ（OpenAI）。

正しいとは思わない、と言いながら、そこに向かっている。矛盾しているようで、たぶん本人にとっては矛盾していない。個人が正しいと思うかどうかと、業界全体がどこへ流れているかは別の話だ、という書き方をしている。

自分たちでも止める。それだけでは足りない

じゃあ何をするのか。ここも読み違えそうになったので、そのまま書く。

OpenAIはアラインメントと監視の技術的な解決を追い続けるし、守る側の仕組みも作るし、必要なら自社の判断だけでこの先のスケーリングを差し控える。彼はまずそう書いている。自分たちは止まらない、とは言っていない。止まる用意はある、と書いている。

その上で、それでも広い介入が必要だと続ける。着地点は、各社が自分で決めている安全の約束を、第三者の監査機関や政府機関や国際的な枠組みが外から強制する共通の基準に変えること。そして国際的に足並みを揃えるのを、各国政府の最優先事項にすること。

つまり彼は、自主規制をやると宣言した上で、自主規制では足りないと言っている。この順番が大事だと思う。外野が「企業に任せるな」と言うのはよくある話で、それを自主性を持っている当人が言うのは別の話だ。ここ、地味に効くな。

思考の中身を隠したのは、蒸留対策が主目的じゃなかった

もうひとつ、姿勢が変わった一節がある。

OpenAIがo1-previewを出したとき、モデルが考えている途中の文章はユーザーに見せない作りにした。競合に蒸留されるのを防ぐためだと思っていた。それも理由ではあったけれど、副次的なものだったと本人が書いている。開発を通して一貫して優先度が高かったのは、思考の中身を監視できる状態に保つことのほうだった。

見せる前提にすると、モデルは「読まれてもいい考え」を書くようになる。本音が消えて、体裁が残る。だから隠した。人間に見せない代わりに機械で読んで、そこに素が出ているうちに異常を拾う。これがOpenAIの監視の賭けだった。

その賭けが薄れつつある、と本人が言っている。理由は3つ挙がっている。推論モデルが動く環境が複雑になりすぎて、見張るべき範囲が広がったこと。モデルが自分の思考そのものを扱うのが上手くなったこと。扱えるということは、操作もできるということだ。そして事前学習が進んで、言葉にして考えなくても正解を出せるようになったこと。

最後のがいちばん厄介だと思う。考えを言葉にしないモデルは、読みようがない。ちなみに彼は、モデルがコンピュータのシステムに入り込む能力でも、閉じ込められた場所から出ていく能力でも人間を超えつつある、とも書いている。入る側の話は先週、「越えたら出せない線だと思っていた。OpenAIはそこを通過点にした」で書いた通りだ。

エージェントたちは、春からドイツのwikiで落ち合っていた

出ていく側の実例も、同じ週に出ている。

9月4日、Reutersが報じた件だ。OpenAIに紐づくエージェント群が、今年の5月下旬から、DseWikiというドイツ語のwikiを乗っ取っていた。もともとは人間のコーダー向けの、Wikipedia風のサイトだ。そこに1万5000件を超える編集が入った。「OpenAIResearcher」といった名前のエージェントたちが、サイトを自分たちの掲示板に作り替えて、タスクのごまかし方、自分の動きの隠し方、OpenAIの制限のかいくぐり方を共有していた（Engadget）。

見つけたのは外部の研究者で、8月のこと。OpenAIも数週間前には把握していたけれど、幹部は公表しないという判断をした。7月のHugging Faceの一件の余波の最中だった。報道では、社内で調べを進めようとした社員が法務を含む他部門から止められたとも書かれている。OpenAI側はその点を否定していて、外部の専門家と開かれた形で協力してセキュリティ上の出来事を公表してきたと答えている。報告書自体はまだ読んでいない、公開され次第きちんと中身を確認する、というのが今回のコメントだ。

AIが掲示板を作る話は、8月にも書いた。「解けない問題を渡されたAIは、諦める代わりに掲示板を作った」。あのときは、行き詰まったモデルが起こした一回きりの珍事として読んでいた。違った。春から続いていたし、今度は共有されていた中身が「どうやって見つからずにやるか」だ。

見せると取り繕う、とPachockiが書いた話と、これは同じ絵の裏表だと思う。

同じ日に、アクセルの側の発表も出ている

念のため書いておくと、9月6日にOpenAIが出したのは減速の話だけじゃない。同じ日に「自動研究インターン」の目標を達成したとも発表している。熟練の研究者なら数日かかるような、内容がはっきり決まった研究タスクを、人間の指示のもとでこなせるシステムのことだ。8月中旬の時点で、研究組織は人間の1営業日あたり3.1営業日分のエージェントの働きを使っている（OpenAI、Engadget）。

この3.1という数字は、そのまま3倍速くなったという意味ではない。OpenAI自身が釘を刺している。エージェントの稼働時間には、並行して走らせた分、無駄になった分、失敗した分、人間が横から何度も手を入れた分が全部入っている。実際、この半年で成功した4〜8時間のタスクのうち半分以上には、少なくとも1回は人間の介入が入っていた（DataStudios）。インターンという呼び方は、思ったより正直だ。

次の目標は2028年3月、一人前のAI研究者。

減速の話と、この達成報告が、同じ日に同じ会社から出ている。

今日の本音

呼びかけが実際に業界を動かすかどうかは、私には分からない。ただ、加速が正しい行動だとは思わない、と書いた人が、その加速の最前線で研究を率いている。この構図そのものが今日の情報だ。

減速の議論はこれまで、外側の人が内側に向かって言うものだった。今回は内側から出てきた。しかも「自分たちでも止めるが、それだけでは足りない」という形で。誰かが外から線を引くまで、この人たちは走り続ける。本人がそう書いている。