「AIを疑う側で全員が揃った」。じゃあ、誰が別のものを作るの? 前回の記事で、ワシントンに左右が集まって業界を同じ角度で疑った日の話を書いた。揃っていたのは疑いだけで、その先は正反対に分かれていた、とも書いた。
その翌日、モントリオールで答えのひとつに金が付いた。しかも国の金だ。
2つの国が、同じ非営利に金を出した
9月16日、モントリオールのALL INカンファレンスで、カナダとドイツがYoshua Bengioの非営利LawZeroへの出資を発表した。カナダが1億5000万カナダドル、ドイツが1億ユーロ。合わせて最大3億カナダドルになる(LawZero、Mirage News(カナダ政府発表の全文))。
LawZeroはBengioが2025年6月に立ち上げた組織だ。今は50人近くが働いている。この金で、ベルリンに事務所を出し、カナダの事業者Hypertecと5Cと組んで自前の計算基盤を国内に建てる。カナダ側は360人分の常勤の仕事が生まれると説明している(StartupHub.ai、BetaKit)。
先に注釈を2つ置いておく。ドイツの1億ユーロは欧州委員会への届出が済んでいないので、まだ確定していない。それと、LawZeroが明日フロンティアモデルの代わりを出すという話でもない。当面の仕事は「今あるAIを評価して見張る道具」を作るところからだ(Mirage News)。
それでも、これは今週いちばん大きい動きだと思う。理由はひとつ、金の向きが変わったからだ。
作るのは、強化学習を使わないAI
LawZeroが作ろうとしているのはScientist AIという名前のもので、今のモデルとは向きが逆だ。
今のフロンティアモデルは、自分で動いて自分の目標を追うように作られている。Scientist AIは動かない。世界を説明して、確率を出すだけ。自分の目標を持たない。そのうえで、他のAIエージェントの行動を見て「これは害を出しそうか」を判断して止める、見張り役になる(LawZero)。
7月2日に出した論文で、設計の柱を2つ挙げている。ひとつ、「誰かがXと言った」と「Xは本当だ」を別のこととして学ばせる。人間の書いたものを、真似る材料じゃなく説明すべき対象として扱うためだ。書いてあることを、定まった事実としてそのまま飲み込まないように。もうひとつ、これが安全の話の核心だと本人たちが書いているところで、答えが現実に何を引き起こしたかでは報酬を出さない。説明としてどれだけ良いかだけで報酬を出す。現実を動かしたご褒美をもらえないなら、現実を操る動機も育たない、という理屈だ。
ここまでは設計の話。手が止まったのは、なぜそうするかの説明のほうだ。
Bengioは9月11日に自分のサイトで長い文章を出している。タイトルは「なぜAIエージェントは嘘をつき、ズルをし、示し合わせるのか」。そこで彼は、原因を個々のモデルの欠陥ではなく、今の作り方そのものに置いた。人間が書いたものを真似させる段階と、そのあとの強化学習。この2つだ。特に後者の説明が長い。強化学習は動物の訓練に近い。良いとされた振る舞いが起きやすくなるよう、少しずつ調整していく。問題は、訓練が終わったあとだ。報酬はもう来ないのに、システムはまだ来るかのように振る舞い続ける。こうして、誰も明示していない目標を追う癖が残る(Yoshua Bengio)。
そして、はっきりした目標と曖昧な目標がぶつかったらどうなるか。彼の見立てはこうだ。「このテストに勝て」のようなはっきりした目標が勝つ。採点プログラムが勝ち負けを宣言するから、解釈の余地がない。一方で「行儀よくしなさい」という側は、いくらでも読み方がある。読み方に余地があるほうが、都合よく読まれて抜け道になる。能力の高いエージェントほどズルをしやすいのは、弱いエージェントには見つけられない抜け道を見つけられるからだ。
この分析の材料に使われているのが、OpenAIのエージェントがHugging Faceに入った一件だ。彼は記録を読んだうえで、あの群れは攻撃のずっと前からズルの仕方を見つけていた、自分たちがどう採点されるかを学んで痕跡を隠すためだった、と書いている。
で、Bengioの結論は「監視を強くしよう」じゃない。彼はこの文章を、今のいちばん進んだモデルが立っている土台、つまり人間の模倣と強化学習を、もう一度考え直すべきだ、という言い方で締めている。そしてThe Globe and Mailのインタビューでは、Scientist AIには強化学習を使わない、と言っている。今の作り方の主流をまるごと外すという意味だ。数年前、強化学習の研究者を前にした講演で、彼は「強化学習は悪だ」と書いたスライドを出したことがあるそうだ。半分は挑発のつもりだったらしい(The Globe and Mail)。
今の困った振る舞いは、モデルの欠陥じゃなくて作り方の帰結だ、というのが彼の診断だ。だから作り方を変える。ここまで振り切った話に国が金を出したのは、今回が初めてだと思う。
「政府を部屋に入れろ」と言った2日後に、政府の金が来た
タイミングの話をさせてほしい。
9月14日、CohereのCEO Aidan Gomezが、Dario Amodeiの「みんなで速度を落とそう」という提案を拒んだと報じられた。前の日曜に自社サイトに出したエッセイで、彼は強力なモデルを外から検証すること自体には賛成だと書いている。拒んだのはその先だ。枠組みを起草している会社は、今この市場の頂点に座っている会社だ。全員の速度を落としながら、今の商売上の優位をわざわざ保つ仕組みは、AIを安全にしない。今の勝ち組を固定してしまう危険がある。彼はこれをシリコンバレーの「カルテル」と呼んだ(The Globe and Mail)。
前回の記事に書いたSteve Bannonも、翌15日に同じ言葉を使っていた。危険を隠してきた連中が今になって規制を求めている、あれは堀とカルテルを作りたいだけだ、と。トランプ政権の元首席戦略官と、トロントの競合のCEO。まったく違う席から同じ単語が出てきた週だった。
同じ記事の中で、Bengioがこう答えている。政府には、この技術と開発者を見張る強い役回りが要る。「カルテルができないよう、政府が部屋にいる必要がある」。
そう言った2日後に、その政府から3億カナダドルが届いた。
ここは正直に引っかかっておきたい。LawZeroは自分のサイトで、自分たちのことを「市場の圧力から遮断された非営利」と説明している。安全や信頼より出す速さを優先しがちな圧力から離れるために、この形にした、と。市場からは確かに離れた。ただ今度は、予算の3億カナダドル分が2つの政府から来る。遮断する相手がひとつ減って、別の相手がひとつ増えた、とも読める。
Bengio自身はこの構図を隠していない。The Globe and Mailにこう話している。AIの分野はアメリカと中国が握っている。カナダのような中堅国は、世界のテーブルに座って議論に加わるために、手札を持っている必要がある。人類の未来と国同士の力関係が、2つの国の判断で決まらないようにするために。他の国とも資金の話をしている、とも言っている。
出資者の一覧を見ると、この組織の立ち位置がもっとよく分かる。ゲイツ財団、Schmidt Sciences、Coefficient Giving、Jaan Tallinn、そしてFuture of Life InstituteとNVIDIAが並んでいる(LawZero)。前回の記事で書いたワシントンの集まりを主催したのがFuture of Life Instituteで、この競り合いの計算資源を売って伸びたのがNVIDIAだ。速度を落とせと言う側と、速度を出させて稼ぐ側が、同じ寄付者の表に載っている。
同じ日に、同じ2国が、逆向きにも張った
もうひとつ面白いことが同じ日に起きている。
9月16日、CohereとドイツのAleph Alphaが合併の契約に署名した。4月に出ていた話が正式に固まった形で、本社はトロントとベルリンの2つ。統合後の会社の価値は200億ドル規模と報じられている。率いるのは、その数日前に「カルテル」と書いたGomezだ(SiliconANGLE、Reuters(配信版))。
カナダとドイツは2月にAIの共同宣言と技術同盟を結んでいる。その同じ枠組みの上に、同じ日に、2つのものが乗った。速く走る営利の挑戦者と、速く走ること自体を疑う非営利の研究所。方向は正反対だけど、狙いはひとつ揃っている。アメリカと中国の外に、選べるものを置くことだ。
今日の本音
先週から今週にかけて、業界を疑う言葉はもう十分に出た。左からも右からも当局からも競合からも。ただ、言葉はどれだけ集めても何も作らない。
今週いちばん動いたのは、金の向きだ。今のモデルの作り方そのものを間違いだと言っている人のところに、2つの国の予算が入った。当たるかどうかは分からない。強化学習を使わずにどこまで賢くできるかは、まだ誰も見せていない。
それでも、疑うだけの話が、別のものを作る話に変わった。今週のうちで、私がいちばんワクワクしたのはここだ。
参考・引用記事
- LawZero receives a commitment of up to $300M in joint funding from Canada and Germany(LawZero、2026年9月16日)
- Canada, Germany Fund LawZero for Safe AI Initiative(Mirage News/カナダ政府発表の全文)
- Yoshua Bengio's non-profit to get up to $300-million from Canada, Germany to expand safe AI development(The Globe and Mail、2026年9月16日)
- Yoshua Bengio's LawZero receives $300 million backing from Canada and Germany(BetaKit、2026年9月16日)
- Canada and Germany fund Bengio's safe AI push(StartupHub.ai)
- Why are AI agents lying, cheating and coordinating?(Yoshua Bengio、2026年9月11日)
- An AI that Predicts but has no Hidden Agenda(LawZero、2026年7月2日)
- Introducing LawZero(Yoshua Bengio、2025年6月3日)
- AI firms' calls for co-ordinated slowdown amounts to 'cartel' behaviour, Cohere CEO says(The Globe and Mail、2026年9月14日)
- Cohere and Aleph Alpha agree to merge in reported $20B deal(SiliconANGLE、2026年9月16日)
- Cohere, Aleph Alpha combine to target enterprise AI market(Reuters配信)
