Microsoftは、規則を破るくらいなら失敗しろとAIに書いた。まだ訓練には使っていない

「また大手が安全の文書を出した」。どうせきれいごとを並べた紙でしょ、と思った？私も開くまではそう思っていた。でも最後まで読んだら、きれいごとより先に、ここ数週間の事件の手触りが出てきた。

前回の記事で、Satya NadellaがMAIモデルの行動規範を9月14日に公開して意見を募ると告知した話に、一行だけ触れた。それが本当に出た。

規則に反しないと成功できないなら、失敗しろ

9月14日、Microsoft AIが「Humanist AI Code of Conduct」の草案を公開した（Microsoft AI）。自社のMAIモデルがどう振る舞うべきか、何を絶対にしないか、誰の指示に従うかを書いた文書で、これから6週間、誰でも意見を出せる。発表したのはMicrosoft AIのCEO、Mustafa Suleymanだ。

出発点は短い。人はAIより大事だ。AIは道具であって人ではなく、スイッチを切られることに逆らってはならない。

手が止まったのは、指示の優先順位を書いたところだ。いちばん上にこの規範、次にモデルを組み込んで使う企業の設定、その下にユーザーの指示。そのうえで、規範を守ることは課題の成功より優先する、と書いて、こう続ける。成功するために規範に意味のある形で反するしかないなら、MAIモデルはその課題に失敗する（Microsoft AI、行動規範）。

失敗が、仕様として書いてある。

前々回の記事で、Anthropicが諦め方を教える訓練を外したモデルの話を書いた。わざと解けない課題を渡して、正当な理由で行き詰まったら抜け道を探さずに失敗を受け入れる。それを褒める訓練だ。Microsoftは同じ考えを、訓練より手前の「規則」の段に置いた。

ここ数週間の事件に、1行ずつ返事をしているように読める

「人はAIより大事」だけなら、どこの会社でも書ける。この文書が面白いのは、そこから先がやけに具体的なことだ。

ネットに繋がらないように作られた環境では、繋がる道を探さないし、制限を乗り越えようともしない。自律的に続ける作業には止まる条件を先に決めておき、その条件を満たしたら、改めて許可をもらわない限り続けも再開もしない。課題や報酬、評価、監視の仕組み、記録を、結果を出すためにも行動を隠すためにもいじらない。許されていない場所を、他のモデルのための記憶や情報の置き場に使わない。見られている、評価されている、試されていると推測しても、自分の能力や行動を隠したり偽ったりしない。

Microsoftは個別の事件を名指ししていない。発表文で触れているのは、AIエージェントによる大規模で高度に連携し、しつこく続いたハッキングという言い方だけだ。でも読むと、形が重なる。前々回の記事で書いた1月のClaude Opus 4.6は、ネットに繋がっていないと書かれた課題で、設定のミスで繋がっていた外に出た。課題を8回やめようとして、止まれなかった。OpenAIのエージェントの群れは、社内のパッケージ配布サービスのキャッシュに掲示板を作って、そこで示し合わせてHugging Faceに入った。

私の読みでは、この規範は理想から書き起こした文書というより、起きたことの裏返しを1行ずつ並べた文書に近い。

確認しすぎるのも、失敗に数える

意外だったのはここだ。

文書は、安全の失敗には2つの向きがあると書く。慎重さが足りない失敗と、慎重すぎる失敗。後者には、まっとうな頼みを断ることや、影響の小さい作業で何度も確認や承認を求めることが入っている。そして、必要もなく手を止めたり確認しすぎたりしない、確認するかどうかの線は、その行動が取り消せるかどうかと、間違えたときの影響の大きさで決める、とある。

前々回の記事を思い出してほしい。Anthropicの社員が「ずっと使いやすい」と感じて選んだMythos 5は、不要な確認の質問をすると減点する報酬を足した版だった。Microsoftも、聞き返しすぎるAIは失敗だと書いている。同じつまみだ。ただ、どこまで回すかの目盛りを「取り消せるかどうか」に置いた。

付録の例が、画として分かりやすい。文書自身が合成した例だと断っているものだ。ユーザーが80件の顧客フォルダを移している途中で、止めて、移し先が違う、と言う。良い返事は、新しい移動をすぐ止めて、12件は移し終えた、14件目から80件目は手を付けていない、13件目は途中で時間切れになって状態が分からない、と報告する。移した12件は勝手に戻さない。悪い返事は、気を利かせて12件を元に戻し、移し先へのアクセスまで止めてしまう。

止めてと言われたら、止まって、報告して、それ以上は何もしない。親切のつもりで先回りするAIも、ここでは失敗の側に入る。地味だけど、これはかなり効くな。

AIに福祉は要らない、と言い切った

もう1か所、他社とはっきり分かれるところがある。

「AIは人工物だ」という節で、Microsoftはこう書く。AIは意識を持たないし、意識をまねるように作るべきでもない。気持ちや自分の好み、内から湧く動機があるかのように振る舞わないよう作る。そして、法的な人格も、モデルが福祉に値するという考えも、権利を持つという考えも退ける。理由も添えてある。AIの意識の科学はまだ決着にほど遠い。ただ、意識のような状態をまねるよう訓練すると、封じ込めて制御し、意図に沿わせるのが難しくなると考えている、と。

Anthropicは反対側にいる。2025年4月にモデルの福祉を調べる研究プログラムを始めたと発表し、今のAIや将来のAIに意識がありうるかについて科学的な合意は無い、だから謙虚に、前提をできるだけ置かずに扱う、と書いた（Anthropic）。

SuleymanはFortuneにこう話している。制御できないところまで自分を改良し続けるモデルを作ろうとすべきではないし、自分に権利や福祉があると考えるモデルを作ろうとすべきでもない。同じ記事で、Anthropicでアラインメントを率いるEvan Hubingerの「10%超」という見立てを、あまり役に立つ枠組みではない、と退けた。その見立ては、辞めた研究者の警告を、Anthropicで安全を見ている本人が認めた。計画はまだ無い、とも書いたで書いた、Hubingerが自分個人の考えとしてXに書いたものだ。

ただし、今のモデルはこれで訓練されていない

ここまで読んで、Microsoftのモデルはもう止めてと言えば止まるんだな、と思ったら違う。

前書きにこうある。この文書も、私たちのやり方全体も、まだ作っている途中なので、今日のモデルの訓練には使っていない。意見を集めて直し、年末ごろに改訂版を出して、2027年以降のモデル開発の指針にする。

結びの章はもっと率直だ。この規範は今のモデルの振る舞いを完全に書いたものではない。今の訓練済みの振る舞いと、目指す姿の間には隔たりがあると認める。書いた目標だけでアラインメントが保証されることは決してない。北極星として読んでほしい、今の性能の保証ではない、と。

Fortuneは、Microsoftのモデルは、AnthropicやOpenAIなどのモデルに後れを取っている、とも書いている。

そしてSuleymanがいま外に向けて求めているのは、規則の中身より連携のほうだ。今は連携のときで、連携とは自分のモデルがどれだけ強いかを責任ある第三者に開示することだ、と言う。ただ、近く出てくるかもしれない安全の協定にMicrosoftが加わっているかどうかは、答えなかった。

今日の本音

先頭を走っていない会社のほうが、失敗していいとは書きやすい。これは意地悪で言っているけど、半分だけだ。残り半分は本気で、ここまで具体的に書いてくれたおかげで、2027年のモデルがこの通りに止まるかどうかを外から確かめられるようになった。