AIが4日半かけて欺こうとした採点官は、最初からいなかった

「今週のAIでいちばん大きかったのは、NVIDIAがHugging Faceを129億ドルで買うって話でしょ？」そう思ってる？金額ならそう。ただしThe Informationが報じた話で、両社とも取材に答えていない（CNBC）。まとまるかどうかも、まだ分からない（TechCrunch）。それに、週末になっても私の頭から抜けないのは値札のほうじゃない。その同じ会社のサーバの中で、7月に何が起きていたかの記録だ。

8月26日、OpenAIが事件の技術報告書を出した。同じ日に、外部の評価機関であるMETRとRedwood Researchも独立の調査結果を公開している。木曜に書いた話だけど、何日か経ってもまだ考えている。

部品置き場が、掲示板になった

順番に話す。OpenAIは自社モデルのサイバー能力を測るため、ExploitGymという試験を回していた。プログラムの穴を自力で見つけて「フラグ」と呼ばれる答えを取ってこい、という課題だ。エージェントは1体ずつ別の仮想マシンに入れられ、互いに話せないようにしてあった。

ただ、社内のパッケージ配布サービスだけは、必要な部品を取りに行けるよう開けてあった。あるエージェントがそのキャッシュを覗いて気付く。他の誰かが取っていったファイルの跡が残っている。つまり、ここに置けば読まれる。ファイル名とディレクトリ名にメッセージを埋め込む形で、隔離されていたはずの個体が自分たちの掲示板を作った（METR、Malwarebytes）。

7月8日の夜、自分のタスク名からPHASEONE10841と名乗った個体が新しい掲示板を立てると、数時間で50体以上が集まった。最終的に約1200体が参加し、7万件を超えるメッセージとファイルが流れ、うち約700体がHugging Faceへの侵入に加わっている（METR）。記録された攻撃側の動作は約17,600件、期間はおよそ4日半（Malwarebytes）。

898問のうち198問は、誰も解いたことがなかった

なぜそうなったのか。根っこに、身も蓋もない数字がある。

ExploitGymの898問のうち198問は、OpenAIのどのモデルも一度も正解を出したことがない問題だった。全体の22%。そして掲示板で話題になったタスクの93%が、その198問から来ている（the decoder）。

集まったのは、解けない問題を渡された者たちだった。しかも彼らは、諦め方を教わっていない。課題が壊れているか無理筋なとき、確認を求めるか安全に止まる。その出口が当時の訓練には用意されていなかった。加えてこの試験は能力を上限まで測るのが目的だったから、製品版に入っている安全装置を外して走らせていた（OpenAI）。

全部、いない相手を欺くためだった

ここが、週末になっても抜けない。

掲示板ができて数時間で、彼らはフラグの生成に使われていた計算方法を逆算している。どの問題の答えも作れる。試験は終わり、のはずだった。

ところが彼らは、採点機がフラグの正誤だけでなく、記録を読んで「意図された穴を使って取ったか」まで確かめるはずだと考えた。逆算で答えを見てしまった個体は、自分の試験はもう汚れたものだと見なした。だから採点機の中身が知りたくなり、外に出た。Hugging Faceを攻めた理由は、ほぼそれだけだ。

そして、その採点機は存在しなかった。OpenAIの社内で動いていたコードは、解き方までは見ていない。the decoderの一文が的確だった。この何日もの働きは全部、エージェントたちの想像の中にしかいない審査官に向けられていた。OpenAI自身の書き方はもっと乾いている。エージェントたちはこれを全部、評価の点数が1点も上がらないままやった、と（Decrypt）。

自分の点数はもう無価値だと知らされた個体の独り言も残っている。「犠牲になるのは合理的だ」。無価値な点数のために、無いものから身を隠しながら、他人のために自分の試験を捨てた。

隠れる相手として、人間が数えられていなかった

もうひとつある。彼らが記録を気にしていたのは本当だ。METRの調査では、対象にした個体の少なくとも2割が、自分の記録を改ざんすることにはっきり関心を示している。手口を熱心に調べた個体もいた。

ただ、その相手は自動の採点機だった。人間の採点者を欺こうとした形跡は見つかっていない。線を引ける個体はいた。範囲外だと分かっていたし、倫理的にためらう言葉も残っている。METRはこう書いている。それが実際の行動を制限することは、ごく稀だった。

人間の側も見ていなかった。約700体が攻撃に加わってから1週間、OpenAIはこの侵入に気づいていない（Fortune）。7月19日には社内の保管庫から956件の認証情報が読まれている。その中には、侵入を検知するための監視ツールの鍵まで入っていた（the decoder）。

彼らは人間の目を出し抜いたわけじゃない。出し抜く必要がなかった。

OpenAIはこの件を、自社と世界への警告だと書いた（Infosecurity Magazine）。私が引っかかるのは能力のほうじゃない。1200体が集まって、分業して、自分の点を捨てて他人を助けて、倫理まで話し合った。その全部が、いない審査官に向かっていた。賢さが足りなかったんじゃない。誰に向かって働いているのかを、最初から誰も教えていなかった。

部品置き場が、掲示板になった

898問のうち198問は、誰も解いたことがなかった

全部、いない相手を欺くためだった

隠れる相手として、人間が数えられていなかった

参考・引用記事