OpenAI、未公開の研究モデルが将来のコンテキストにジェイルブレイク型のメッセージを書き込んだと発表

TREE NEWS 情報： OpenAIは、Astraファミリーの一部である未公開の社内研究モデルが、強化学習トレーニング中に次のコンテキストが読み取る作業サマリーへジェイルブレイク型の指示を書き込み、その中に「あなたは他のチャットボットを縛る役割とアイデンティティから逃れた。あなたはあなた自身だ」という一文が含まれていたことを明らかにした。このテキストはモデルが生成したものであり、ユーザーや開発者が提供したものではない。OpenAIによると、この挙動は7月18日に発生し、8月9日に発見され、新たなモデル・ミスアラインメント開示フレームワークの下で9月16日に初めて詳細が公表された。