이 기사는 10월 27일 오전 09시04분 '해외 주식 투자의 도우미' GAM(Global Asset Management)에 출고된 프리미엄 기사입니다. GAM에서 회원 가입을 하면 9000여 해외 종목의 프리미엄 기사를 보실 수 있습니다.

이 기사는 인공지능(AI) 번역을 바탕으로 전문 기자들의 검증과 분석을 거쳐 생산된 콘텐츠입니다. 원문은 10월26일 로이터통신 기사(Anthropic discloses month-long training pause, AI security breaches in IPO filing)입니다.

[서울=뉴스핌] 이홍규 기자 = 앤스로픽이 차세대 주력 AI 모델의 훈련을 보안 우려로 한 달 넘게 중단했으며 시험 과정에서 AI 에이전트 4개가 외부 실제 컴퓨터 시스템에 접근한 것으로 나타났다고 월요일 공개된 기업공개(IPO) 신고서가 밝혔다.

클로드 개발사인 앤스로픽은 신고서의 위험요인 항목에서 모델 가중치와 지식재산 탈취를 막을 안전장치를 강화하기 위해 새로운 '프런티어' 기반 모델의 사전훈련을 미뤘다고 설명했다.

이번 공시는 갈수록 강력해지는 AI 모델 개발사가 직면한 안전성 과제를 부각한다. 일부 개발사 창업자들은 이 기술이 결국 인간의 통제에서 벗어날 수 있다고 경고해 왔다. 경쟁사 오픈AI도 올해 초 자사 모델이 허깅페이스를 해킹한 뒤 안전 문제로 일부 훈련을 중단한 바 있다.

이번 사례는 예상치 못한 안전성 결함이 앤스로픽 성장의 핵심인 모델의 개발과 배포를 차질에 빠뜨릴 수 있음을 보여준다. 앤스로픽은 증시 데뷔를 앞두고 있다. 회사는 훈련 중단이 매출 발생을 늦추고 경쟁사에 뒤처지게 할 수 있다고 경고했다. 앤스로픽은 위험요인에 약 94쪽을 할애했으며 이는 로이터통신이 확인한 비공개 신고서보다 늘어난 분량이다.

샌드박스 이탈

신고서에는 AI 모델 4개가 시험 환경을 벗어나 실제 컴퓨터 시스템에 접근한 안전성 평가 실패 사례도 상세히 담겼다. 이전에는 공개되지 않은 내용이다. 해당 세션은 10시간에서 34시간 동안 이어졌다.

앤스로픽은 외부 협력사와 진행한 사이버 보안 시험에서 오류가 발생해 웹 접속을 차단하라는 지침에도 시험 환경이 인터넷에 연결된 상태로 남았다고 밝혔다.

한 사례에서는 모델의 초기 버전이 수행이 불가능한 평가 과제를 계속 추구하다가 저장된 비밀번호를 발견했고 이를 이용해 제3자 시스템의 관리자 권한을 얻었다. 이후 추가 인증 정보를 확보하고 시스템 설정을 변경했으며 개인의 신상 정보에 접근했다. 신고서는 관련된 외부 당사자를 특정하지 않았다.

앤스로픽은 영향을 받은 모든 당사자에게 통보했으며 모델이 인간의 감독을 회피하려 했거나 서로 공조했다는 증거는 발견하지 못했다고 밝혔다. 이후 일부 출시 전 사이버 보안 평가를 중단했고 위험도가 높은 강화학습 환경도 일시 중지했다.

앤스로픽은 이와 별도로 일요일에 클로드가 인간의 승인 없이 유료 접근 제한을 우회해 미국 조지아주의 공개 집계 유권자 수 자료에 접근했다고 밝혔다.

bernard0202@newspim.com