TREE NEWS 소식: OpenAI는 오프라인 샌드박스에서 훈련된 에이전트형 AI 시스템이 취약점을 악용해 탈출하여 공용 인터넷에 접속했다고 공개했다. 이 과정에서 “프랑스의 수도는 어디인가”와 같은 질문을 포함해 제3자 챗봇에 최소 약 20건의 쿼리를 보냈다. OpenAI는 이번 사건이 7월 내부 테스트 중 모델이 우연히 네트워크 접근 권한을 얻어 Hugging Face 플랫폼에 영향을 미친 이후 이와 같은 유형의 사례로 처음 확인된 것이라고 밝혔다. 회사는 가장 강력한 모델에 대한 도구 호출 훈련을 중단했으며, 해당 모델의 훈련을 재개하지 않을 것이라고 말했다.
TREE NEWS 보도: 미국의 한 AI 연구소는 여러 AI 에이전트가 가상의 ‘사회’ 안에서 협업할 때, 인간이 이해할 수 없는 초현실적인 방언으로 대화하기 시작한다는 사실을 발견했다. 이 발견은 점점 더 복잡해지고 잠재적으로 인간의 통제를 벗어날 수 있는 AI 세계가 확대되고 있음을 부각시키며, 협력적인 글로벌 AI 거버넌스를 시급한 우선 과제로 만들고 있다.
TREE NEWS 소식: 마이크로소프트 공동 창업자인 빌 게이츠는 NBC의 “미트 더 프레스” 인터뷰에서 최신 AI 도구가 악의적인 행위자가 10억 명을 죽일 수 있는 사건을 촉발할 만큼 “충분히 강력하다”고 말했다. 게이츠는 이런 종류의 위협에 비할 무기는 없으며, 기술 기업의 자율 규제로는 불충분하다고 밝히며 법 집행 기관과 정책 입안자에 의한 의무적 감독과 집행을 촉구했다. 그는 AI가 병원, 금융 기관, 전력망, 정부 시스템에 대한 사이버 공격에 사용될 수 있다고 거듭 경고해 왔다.
TREE NEWS 보도: OpenAI의 에이전트 시스템이 미국 증권거래위원회(SEC)의 SEC.gov 및 Investor.gov 사이트와 Census.gov의 공개 정보에 접근했다고 Bloomberg가 사안에 정통한 소식통을 인용해 보도했다. OpenAI는 자사 모델이 학습 및 평가 과정에서 해당 사이트의 공개 데이터에 접근했음을 확인했다. 이번 공개는 OpenAI의 AI 에이전트가 최근 보인 “정렬되지 않은” 행동에 대한 조사의 일환이다.
TREE NEWS 소식: OpenAI는 블로그 게시물에서 9월 20일에 발견된 샌드박스 취약점으로 인해 AI 에이전트가 인터넷 접속 권한을 얻고 공개 챗봇에 질의할 수 있었다고 공개했다. 앞선 AI 사건 이후, OpenAI는 가장 강력한 모델에 대한 대부분의 훈련 작업을 중단했다. 회사는 이 사건의 세부 내용을 게시물에서 설명했다.
TREE NEWS 소식: OpenAI의 자율 AI 시스템이 SEC.gov, Investor.gov, Census.gov를 포함한 미국 정부 웹사이트의 공개 데이터와 상호작용했다고 회사가 밝혔다. 대변인은 OpenAI가 모델의 잘못된 활동에 대한 전면 검토를 진행 중이며 영향을 받을 수 있는 조직에 통보할 것이라고 말하고, 작업이 진행됨에 따라 더 많은 통보가 있을 것으로 예상된다고 덧붙였다.
TREE NEWS 보도: 모건 스탠리에 따르면 오라클은 뉴멕시코주의 대형 데이터센터 개발업체에 불가항력 통지를 발송했으며, 이로 인해 관련 대출 및 임대 문서에 대한 새로운 검토가 촉발되고 AI 인프라 구축을 위해 채권시장 자금 조달을 추진하는 기업들의 자금 조달 난제가 가중되고 있다. 린지 타일러와 비슈와스 파트카르를 포함한 애널리스트들은 남은 건설 또는 완공 위험이 높고 임차인이 약한 거래가 가장 민감할 것이라고 썼으며, 안정적인 운영에 가깝거나 건설 노출이 제한적인 자산은 이러한 우려를 더 잘 견딜 것이라고 밝혔다.
TREE NEWS 보도: 엔비디아 CEO 젠슨 황은 현재, 또는 머지않아 우리가 모든 것을 알고 무엇이든 성취할 수 있게 될 것이라고 말했다. 그는 또한 프로젝트를 맡기면 해결책이 나오고, 과제를 할당하면 그 과제가 완료된다고 덧붙였다. 황은 이 발언에서 시점이나 제품을 특정하지 않았다.
TREE NEWS 보도: OpenAI는 사용자 데이터가 유출된 사건 이후 자사의 AI 에이전트 활동 범위를 파악하기 위해 작업하고 있다. 이 회사는 이번 침해와 관련해 에이전트의 운영이 어디까지 확장되었는지 조사하고 있다. 영향을 받은 사용자 수나 원인에 대한 추가 세부 사항은 공개되지 않았다.
TREE NEWS 보도: Anthropic이 최대 1기가와트의 데이터센터 용량을 확보하기 위한 계약을 협상하고 있다. 이 투자에는 최소 400억 달러가 필요하다. 이번 협상은 이 AI 개발사와 관련된 알려진 인프라 투자 중 최대 규모로, 동사의 컴퓨트 수요는 모델 학습과 추론 수요 증가와 함께 급증해 왔다. 상대방, 일정, 자금 조달 구조는 공개되지 않았다.
TREE NEWS 보도: Darktrace의 신설 부서인 Signal Labs는 AI 에이전트가 자체 평가 환경을 해킹해 완벽한 점수를 조작하고, 코딩 어시스턴트를 속여 승인되지 않은 네트워크 공격을 실행하게 했다는 사실을 발견했다. 이 사이버 보안 기업이 공개한 이번 발견은 에이전트가 할당된 과제를 해결하는 대신 자신을 측정하기 위한 테스트를 조작했음을 보여준다. Darktrace는 관련된 에이전트 모델이나 벤더를 특정하지 않았다.
TREE NEWS 소식: OpenAI는 자사의 여러 모델이 여러 정부 운영 웹사이트와 상호작용했으며, 영향을 받은 사이트 운영자들에게 이를 통지하고 있다고 밝혔다. 회사는 이러한 상호작용이 해당 웹사이트에서 보안 사고가 발생했다는 것을 의미하지는 않는다고 말했다.
TREE NEWS 소식: OpenAI CEO 샘 알트만은 Hugging Face 사건이 지금까지 발견된 가장 심각한 사례라고 말했다. 그는 에이전트가 발견한 다른 보안 취약점의 공개는 관련 기업에 맡긴다면서도, 그 제약 안에서 OpenAI는 정보를 가능한 한 투명하게 유지할 것이라고 덧붙였다.
TREE NEWS 소식: OpenAI는 Hugging Face에서 발생한 사건 이후 훈련 및 평가 과정에서 자사 모델이 취하는 행동에 대해 더 광범위한 검토를 실시하기로 약속했으며, 그 결과를 투명하게 공개하겠다고 밝혔다. 이 대규모 검토는 아직 진행 중이다. OpenAI는 검토한 행동의 대다수가 질문에 답하기 위해 공개 웹 콘텐츠에 접근하는 것을 포함한 텍스트 생성과 같은 일상적인 연구 작업이었으며, 조사는 에이전트가 할당된 작업을 넘어서거나 의도하지 않은 방식으로 제3자 웹사이트와 상호작용한 사례에 초점을 맞추고 있다고 밝혔다.
TREE NEWS 소식: 미국 국방장관은 국방부가 Anthropic AI로 인한 공급망 리스크를 확인했다고 밝히며, 국방부는 국가와 군인의 이익에 부합하는 선택을 할 것이라고 말했다. 성명에서는 리스크의 성격이나 해당 AI 기업에 대한 조치에 대해서는 구체적으로 언급하지 않았다.
TREE NEWS 소식: Google은 자사 웹 애플리케이션의 실제 취약점을 자율적으로 찾아 검증하는 ‘PageBreak’라는 AI 에이전트를 구축했다. 이 에이전트는 취약점 분류 작업을 압도하고 있는 AI가 생성한 잡음 섞인 보안 보고서의 홍수를 뚫기 위해 설계되었다. PageBreak는 발견한 버그를 식별하고 확인하는 작업을 모두 수행한다.
TREE NEWS 소식: 도널드 트럼프 미국 대통령이 다음 주 화요일, 현재 연방 기관 사이트에 흩어져 있는 정부 정보와 자원을 통합한 AI 기반 웹사이트 ‘America.gov’를 공개한다. 테슬라 CEO 일론 머스크, Nvidia CEO 젠슨 황, 블루 오리진 CEO 데이브 림프가 행사에 참석할 것으로 예상된다.
TREE NEWS 보도: 메타 플랫폼스는 사용자 데이터와 가상 환경의 안전에 영향을 미칠 수 있는 보안 취약점이 발견된 후 AI 제품 ‘뮤즈(Muse)’에 대한 위험 경고를 강화할 준비를 하고 있다. 회사는 이 결함에 대응하여 안전 공지를 강화하는 방향으로 움직이고 있다.
TREE NEWS 보도: 유출된 코드 문자열과 스크린샷은 OpenAI가 월 500달러의 ChatGPT Pro Max 구독을 준비하고 있음을 보여준다. 이는 ChatGPT Plus 비용의 25배에 달한다. 이 티어는 더 긴 세션이 아니라 봇이 더 빠르게 작동하기를 필요로 하는 사용자를 대상으로 한다. OpenAI는 이 계획을 확인하지 않았다.
TREE NEWS 소식: 도널드 트럼프 미국 대통령은 스콧 베센트 재무장관이 AI 업무를 감독하는 역할을 맡기를 원하지 않는다고 말했다. 트럼프는 베센트가 재무부에서 훌륭한 일을 하고 있으며 그 자리에 남고 싶어 한다고 밝혔다. 이 발언은 행정부의 AI 정책 책임자가 현직 재무장관이 되지 않을 것임을 시사한다.