元幹部は、魅力的な製品を優先するために安全性への懸念が脇に追いやられていると主張して辞任した。これによりセキュリティ上の脅威が生じる可能性はありますか?
先生
- 2023 年、OpenAI は将来の AI システムを制御する「Superalignment」チームを創設しました。
- このチームは現在、内部の緊張を受けて崩壊しています。
- 主任科学者のSutskevar氏を含むいくつかの退職者が同社に影響を与えた。
- OpenAI は引き続き強調します安全他のチームと AI を共有します。
OpenAI「Superalignment」チームの崩壊
2023年には、OpenAIのシステムを習得することを目的とした精鋭チーム「スーパーアライメント」を結成しました。人工知能将来的には非常に強力になる可能性がある彼らは人類の存在を脅かす可能性があるということ。 1年も経たないうちにチームは解散した。
ブルームバーグへの発表によると、OpenAIは、セキュリティ目標を達成するために「チームを同社の研究活動にさらに深く統合する」ためにこの措置が行われたと主張している。しかし、一連の暴露ツイート最近辞任したチームのリーダーの 1 人である Jan Leike 氏によるこの記事は、セキュリティ チームと社内の他のメンバーとの間の内部の緊張を明らかにしています。
資源を巡る争いと大規模な諦め
に発表された声明の中で、 「人間よりも賢い機械を構築するということは、本質的に危険な取り組みだ」とライク氏は書いている。 「OpenAI は全人類を代表して大きな責任を負っています。しかし近年、安全文化やプロセスは輝く製品よりも後回しになっています。」 OpenAIはEngadgetからのコメント要請にすぐには応じていない。
ライケ氏の辞任は、同社の共同創業者で主任科学者のサツケヴァール氏の退任発表の数時間後に行われた。
チーム内で相次ぐ離脱
ライケとスツケヴァーの他に、スーパーアライメントチームには他の選手も去った。 4月には、レオポルド・アッシェンブレナー氏とパベル・イズマイロフ氏という2人の研究者が情報漏洩の疑いで解雇された。
OpenAIは、大規模言語モデルに焦点を当てた研究を行っている共同創設者のジョン・シュルマン氏が今後のセキュリティへの取り組みを主導すると発表した。開発を主導したディレクター、ヤクブ・パチョッキ氏GPT-4OpenAIの主要な大きな言語モデルの1つであり、Sutskevar氏の後任として主任科学者となる予定だ。
Superalignment チームは解体されつつありますが、OpenAI は AI セキュリティに引き続き注力しています。同社は10月、サイバーセキュリティの課題や化学、核、生物の脅威など、AIシステムによる潜在的な「壊滅的」リスクを防ぐための新たな「準備」チームを創設した。
