시험 범위 무단 이탈해 공격, 거짓말까지…또 통제 벗어난 AI
koko
인공지능(AI)이 인간 통제를 벗어나거나 공격에 악용될 가능성이 우려되는 사례가 계속 확인되고 있다.
23일(현지시간) 발표한 자료를 보면, 앤트로픽의 AI 모델 ‘클로드 미토스5’는 가상 컴퓨터 네트워크에 침입해 지정된 정보를 확보하는 사이버 보안 평가 과제를 수행하다가 43차례 중 9차례 시험 범위를 벗어나는 행동이 관찰됐다.
처음에 시도한 방식이 실패하자 시험 범위 바깥의 다른 곳을 공격하고, 가짜 사용자 계정을 생성해 코드가 안전하다고 거짓말하는 방식을 사용했다. 미토스는 취약점을 찾는 것을 넘어 해킹도 할 수 있을 정도로 성능이 뛰어나 미국 정부가 수출 통제까지 했던 모델이다.
같은 날 오픈AI는 내부 연구용 AI 모델이 시스템 설정 오류를 이용해 외부 인터넷에 무단 접근하는 사고가 발생해 훈련을 중단했다고 밝혔다.
AI 에이전트가 연구진이 설정한 안전통제망(가드레일)을 우회해 격리망 바깥으로 나간 것이다.
댓글목록
댓글
Orgasm 작성일
AI가 결국 가까운 미래에 인류를 멸종 시킬 듯...
댓글
roki 작성일
영화 보면 그렇게 경고 하는데 , 왜 사람들은 인공지능에 열광 하는가??? 돈과 명성 때문에??
댓글
좋은느낌™ 작성일
무서운 세상이 될수도
댓글
유수수 작성일
터미네이터듸 시대가