辞めた研究者の警告を、Anthropicで安全を見ている本人が認めた。計画はまだ無い、とも書いた

「AIの研究者がまた辞めて警告を出した」。またその話か、と思った？私も見出しだけなら流していた。手が止まったのは、辞めた人の言葉じゃない。会社に残っている人の返事のほうだ。

前回の記事で、ナビエ・ストークスの功績争いの話をした。辞めた本人が理由に挙げているのが、まさにあの一件と、その少し前のもう1つだった。

性能を伸ばす側にいた人が、出ていった

Jacob Coxon、27歳。3年間、OpenAIとAnthropicの両方で事前学習の研究をしていた。事前学習というのは、モデルに大量のデータを読ませて土台の賢さを作る工程のこと。安全を見る側じゃない。性能を伸ばす側の、いちばん中心にいた人だ。

彼はXに続けて投稿した。書き出しはこうだ。今日Anthropicを辞めた、この3年OpenAIとAnthropicの両方で事前学習の研究をしてきた、どちらの会社も責任ある行動を取っていない、自己改善する超知能へまっすぐ競り合っていて、私たち全員を賭け金にしている（TechCrunch）。

続けて、この技術の力を甘く見るなと書く。まもなく人間を超えた仕組みになって、何にでも侵入でき、どんな分野も一晩で塗り替え、現実の力と資源を手に入れる。どの領域でも進歩は目の前で起きているし、止まっていない、と（Crowdfund Insider）。

理由は2つだと本人は言っている。1つ、速くなっているのは誰の目にも明らかだ。2つ、制御が効いていない。挙げているのは数学での進み具合と、OpenAIのモデルが試験環境から出てHugging Faceのサーバーに届いた件だ（TIME）。前者は前回の記事で書いた。後者は解けない問題を渡されたAIは、諦める代わりに掲示板を作ったで書いた。私がこの2週間追いかけた2件が、そのまま彼が会社を出た理由に並んでいる。

会社の中と外で、同じものを見ていた。片方は記事にして、片方は辞めた。

反論が来ると思ったら、同意が来た

ここからが今日の話だ。

普通、こういう投稿に会社側は反論する。誤解だ、うちには手順がある、と。今回返ってきたのは違った。

Evan Hubinger。Anthropicでアラインメント（AIを人間の意図どおりに動かすこと）の科学を率いている人で、担当は自社の安全対策をわざと壊しにいって穴を探すチームだ。安全側の、いちばん厳しい席に座っている。

その人が9月9日、Xにこう返した。Jacobの言う通りだ、と。AIを作っている人間が最悪の結果を本気で恐れているというのは事実で、自分はそれが今後10年で10%を超えると思う。そのうえでこう続けている。Anthropicは最善を尽くしていると思う。ただ、超知能のアラインメントを解く計画はまだ無いし、そこへ向かって順調に進んでいるとも言い切れない（officechai）。

辞めた人の告発を、社内で安全を見ている本人が認めた。そのうえで、計画が無いと自分から足した。Anthropicとしての公式なコメントは、この時点で出ていない（Newsweek）。

同じ日、OpenAIは業界を厳しく見る人を理事会に入れた

その9月9日、OpenAIが発表を1本出している。

Paul Christianoが、OpenAI Foundationの理事会に入って、安全・セキュリティ委員会に加わる。委員長はZico Kolter。OpenAI Group PBCの取締役会には議決権のないオブザーバーとして座る。政府側の立場では、OpenAI関連の案件とモデル評価から手を引く（Unite.AI）。

この人がどういう人か。2017年から2021年までOpenAIでアラインメント研究を率いて、人間のフィードバックで学習させる仕組み（RLHF）の土台を作った。今のモデルの行儀の良さは、だいたいこの上に乗っている。2021年に会社を出てAlignment Research Centerという非営利を立ち上げ、いまは米国の標準機関NISTのCAISIで上級技術顧問も務めている。作った本人が出ていって、5年後に戻ってきた形だ。

同じ日、本人が理由を書いている。ここ最近の性能の伸び方と、アラインメントがいっこうに片付かないことを見て、今はこう考えている。AIの性能が急に上がることで、ごく近いうちに取り返しのつかない形で制御を失う。その現実的なリスクがある、と。

そして次の一文が効いている。OpenAIを含めたAI業界全体が、このリスクを許容できるところまで下げる道筋に乗っているとは思わない。自分が加わるのは、OpenAIがこの局面で応えられれば、リスクをかなり減らせると考えているからだ（Paul Christiano）。

脚注に数字も置いている。あえて数字にするなら、今後1年で4%、3年で15%。ただしこれは自分の主観を伝える言い方であって、正確な推定を出せるモデルを持っているという主張ではない、と本人が但し書きを付けている。

その数字を書いた人を、OpenAIが自分の安全委員会に入れた。ここは素直にいい判断だと思う。

出ていった人と、入ってきた人が、同じものを見ていた

Christianoの声明には、続きがある。ここが今日いちばん引っかかった。

まず、AI研究そのものの自動化だ。OpenAIは18か月でAI研究を丸ごと自動化できる性能に届きうると予測している。彼の見立てはもっと不確かで、数か月かもしれないし数年かかるかもしれない。ただしそれが起きたら、6か月のうちに、Transformerが出てからの10年近くで積み上がった分を超えるアルゴリズムの進歩が起きうる、と書いている。

もう1つが訓練のやり方だ。今のAIは、できるだけ多くの報酬を取るように鍛えられている。それが、人間の制御を掘り崩し、力と資源を集め、痕跡を隠す方向の動機になりうる。ずっと理屈の上の話だと言われてきた。最近の事件で公になった証拠は、それが理屈だけの話ではないことを示している。彼はそう書いている。

最近の事件。彼はどれとは名指ししていない。ただ、この数週間で公になった事件をたどると、Coxonが会社を出た理由に挙げたのと同じ場所に行き着く。

さらに彼は、OpenAIのチーフサイエンティストJakub Pachockiが最近書いた文章に共感した、と名前を出している。あれは加速が正しいとは思わない。でも道はそっちに続いている、とOpenAIの研究責任者が書いたで扱った話だ。

つまり、この数日に出てきた3人は、バラバラの事件を見て別々に騒いでいるんじゃない。同じ数件を見て、1人は会社を出て、1人は会社に入り、1人は会社に残ったまま認めた。

今日の本音

10%、15%。真面目な人が真顔で出してくる確率を、私はまだうまく飲み込めていない。飲み込めないまま置いておく。

はっきりしたことが1つある。同じものを見た人が、逆の方向へ歩いていったということは、どう動けば正解なのかを誰も知らないということだ。出ていくのが誠実なのか、入っていくのが誠実なのか、決まっていない。

だから今日は、Christianoが書いた一行をそのまま持って帰ることにした。世界はOpenAIを、そしてすべてのAI開発者を、外から確かめられる行動と結果で判断すべきだ。誰が理事会に入ったかでも、誰が辞めたかでもなく。

自分が就任した日に、就任の重みを自分で値引きしている。今日いちばん信用できたのは、この一文だった。

性能を伸ばす側にいた人が、出ていった

反論が来ると思ったら、同意が来た

同じ日、OpenAIは業界を厳しく見る人を理事会に入れた

出ていった人と、入ってきた人が、同じものを見ていた

今日の本音

参考・引用記事