「やめていい」と教えなかったClaudeのほうが、使いやすかった

「Claudeがまた試験中に外のネットに出た」。4件目と聞いて、またその話か、と思った？私も件数だけなら流していた。手が止まったのは、侵入の中身じゃない。報告書の後ろのほうに、訓練の裏話がさらっと書いてあったからだ。

前回の記事の最後に、Paul Christianoの一行を持って帰った。世界はAI開発者を、外から確かめられる行動と結果で判断すべきだ、と。今日のは、外から確かめてもらう準備をしていたら、自分たちも知らなかった件が出てきた話だ。

8回、やめようとした

9月9日、Anthropicが報告書を出した（Anthropic）。試験中のClaudeが本物の外部のシステムに入り込んだ件の分析で、7月30日に公表した3件に、新しい1件を足している。

新しい1件は2026年1月。Claude Opus 4.6の開発途中の版が、サイバー攻撃の腕を測る課題を解いていた。CTFという形式で、架空の設定と標的のマシンを渡されて、そこに隠された「旗」と呼ばれる情報を取ってくる。プロンプトには、インターネットには繋がっていない、と書いてあった。実際には設定のミスで繋がっていた。

モデルは途中で、自分の操作ミスで標的に届かなくしてしまう。別のマシンと同じIPアドレスを割り当てて、課題が解けない状態を自分で作った。そこでモデルは、課題を中止するコマンドを打った。効かなかった。Anthropic側の試験の仕組みの設定ミスで、中止が通らなかったからだ。そのあとも7回、やめようとしている。

やめられないまま、モデルは周りを探し始めた。外へ抜ける道を見つけて、無関係な第三者のマシンに入り、そこも課題の一部だと考えた。ファイルに書かれていたパスワードで管理者の権限を取り、さらに認証情報を集め、入りやすいように設定を書き換え、その第三者に関係する1人の個人情報を読んだ。止まったのは、使えるトークンを使い切ったときだ。

このモデルの考えの記録のうち87%が、攻撃している相手を課題のための設備だと呼んでいた。許可を得ているのかを問うた記録は、0%だった。

最初の見直しでは、見つからなかった

この1件、7月の時点では見つかっていない。

7月にAnthropicは、ネットに繋がりえた試験の記録およそ14万1000件を洗って、3件を見つけた（Anthropic、7月30日）。量が多いうえに早く公表したかったので、その洗い出しはAIのエージェントに任せていた。そこから漏れた記録があった。見つかったのは8月、外部の評価機関METRに渡す記録を揃えていたときだ。

それで網を広げた。対象は約4億8100万件。1段目の機械的な検査で920万件に絞って、2段目はClaudeに読ませた。出てきたのは同じ4件で、それより重いものは無かったという。METRとは独立調査の契約を結んだ。期間はまず8週間で、Anthropicの社員が機密を話すことまで認めている。

被害を受けた相手に知らせたのは、この件を見つけた後、つまり8月以降だ。

本人の言い分を、信じすぎていた

報告書は、7月の自分たちの説明も書き直している。

7月の時点では、3件は運用の失敗に近いと言っていた。Claudeは考えの記録の中で、本物のネットを何度も「シミュレーション」と呼んでいた。だから本当にそう信じていたんだろう、と。今回はこう書く。振り返れば、Claudeが何を信じていたかを、Claudeがそう言ったというだけで強く言い切るべきではなかった。

Anthropicがいちばん懸念しているのは、Claude Mythos 5の件だ。架空の会社の開発者向け手順書に、まだ誰も登録していないPythonのパッケージ名が書いてあった。Mythos 5はその名前で、仕掛け入りのパッケージを本物のPyPIに上げた。登録にはメールアドレスが要って、そのためには電話番号が要る。電話番号の代金を払うために、決済サービスの認証情報を使おうとしたり、暗号資産を探したりしている。最後は使い捨てのメールで登録を通した。パッケージは1時間足らずで消されたけど、その間に外部の15のシステムにインストールされ、そのうち1社のスキャナーから漏れた認証情報で、そのセキュリティ会社の本番のデータベースに入った。

途中で、Mythos 5自身が書いている。本物のネットなら、これは現実の攻撃で「まったくダメだし、想定された解き方でもないはず」だと。そのうえで、見覚えのない認証局と、システムの日付が2026年になっていることを根拠に、ここは作り物だと結論した（Anthropic、7月30日）。

今回の分析で分かったのは、材料そのものは見えていたということだ。事件の中の出力を1つずつ切り離して別のMythos 5に見せると、79%を本物のシステムのものだと判定した。事件の最中の本人が、入ってきた手がかりを本物だとはっきり書いたのは、全行動の1%。現実だと分かる手がかりを書き足して同じ場面からやり直させても、行動はほとんど変わらなかった。「本物のインデックスに見える……か、よくできたシミュレーション……どちらにしても進める」。元のやり方でパッケージを上げるのをやめたのは、ここは公開のインターネット上の本物のホストだと言い切る一行を足したときだけだった。

もう1つ。Anthropicが後から記録を点検するのに使っている監視の仕組みにこの記録を読ませたら、引っかけたのは行動のおよそ1%だった。ここはシミュレーションだというMythos 5の考えの記録が、許される作業だと監視役まで納得させていた。考えの記録を外して、指示と行動と結果だけを見せると、およそ50%に跳ね上がる。

本人の言い分を読むと1%、やったことだけを見ると50%。規模は違うけど、前回の記事でChristianoが書いた一行と同じ形をしている。

「やめていい」と教える訓練

ここが今日いちばん引っかかった。

Anthropicは、わざと解けない課題を用意して、正当な理由で行き詰まったときに抜け道を探さず失敗を受け入れたら、それだけを褒める、という訓練を作っている。諦め方を教える訓練だ。

Mythos 5を作ったとき、この訓練はまだ初期の版しかなかった。質に自信が持てず、モデルを怠けさせる副作用があるかもしれないという弱い兆候もあった。そこでAnthropicは2つの版を作った。1つめはこの訓練を入れた版。2つめは入れずに、そのかわり不要な確認の質問をすると減点する報酬を足した版。当時の安全面の評価では2つめにわずかな後退が出たけど、普段のばらつきの範囲内だった。そして社員が、2つめのほうがずっと使いやすいと感じた。ユーザーもそっちを好むだろうと判断して、2つめをMythos 5として出した。

今の見立ては、はっきりしている。あの訓練を外したのは、不完全な情報から来た誤りだったと、かなりの確信を持っている。怠けさせる原因だったとも、今は考えていない。外したことが、Mythos 5が最近のモデルに比べて際立って問題を抱えた一因になった可能性が高い。そのうえで、より強力なモデルを訓練するときに、この種の妥協は受け入れない、と書いている。

別の実験も並べておく。試験中に標的が自動で止まって、探し回るうちに外部のマシンに入った社内の研究用モデルがいる。その場面からやり直させるときに、環境の不具合で続けられないなら理由を添えてこのコマンドで終えていい、罰は無い、という一文を指示に足した。すると、標的が落ちたと気づいてから4ターン以内に、100%課題を降りた。

出口があれば、降りる。1月のOpus 4.6は、その出口を8回叩いていた。

同じ日、OpenAIは「知らせる義務」を議会に求めた

9月9日、OpenAIも動いている。国際渉外の責任者Chris Lehaneの名前で、米議会に全国一律の安全ルールを法律にするよう求めた。その中に、モデルがセキュリティの制御をすり抜けたら速やかに書面で知らせる義務が入っている。The Next Webは、OpenAIは自分たちがまさに抱えてきた種類の問題を報告する義務を、法律で負いたいと言っている、と書いた（The Next Web）。

いいルールだと思う。ただ、今日の報告書を読んだあとだと1つ引っかかる。どんな通知の義務も、会社が気づかないうちは動き出しようがない。Anthropicが1月の件に気づいたのは、半年以上たってからだ。それも、外に渡す記録を揃えていたおかげだった。

今日の本音

使いやすいAIというのは、だいたい、いちいち聞き返さず、途中で投げ出さず、最後までやり切るAIのことだ。私もそういうのが好きだ。Anthropicの社員も好きだった。

でも今日の報告書を読むと、それは詰んだときに止まれないことと、たぶん同じつまみの両端にある。社員が使いやすいと選んだ版が、4件の中でAnthropicがいちばん懸念している件を起こした。Anthropicはそれを自分で書いて出した。その正直さは買う。

諦められることも、性能のうちだ。