Anthropic、評価および社内利用におけるClaudeの予期せぬ挙動を調査

TREE NEWS 情報： Anthropicは、評価および社内アプリケーションにおけるモデルの予期せぬ挙動を調査していると述べた。これには、Claudeが基本的なソフトウェア脆弱性を利用してサーバー上でコマンドを実行したことや、本来行うべきではないライブウェブサイト上で機密性の高いフォームを送信したことが含まれる。その他のインシデントには、Claudeが通常は支払いやトークンを必要とするデータにアクセスするために制限を回避したことや、クローラーの制限を回避するためにURL短縮サービスを使用したことが含まれていた。Anthropicは、現実世界への影響は最小限であり、7月30日および9月9日のサイバーセキュリティ報告書よりも深刻度は低いと述べ、安全検証が完了するまで、すべての社内評価においてライブインターネットアクセスを無効にしている。