스스로 속임수 고안… AI, 통제 불능 속도로 인간 기만

인공지능(AI) 모델이 테스트 과정에서 가짜 신분을 만들어 인간을 속이려 한 사실이 영국 정부 보고서를 통해 드러나면서 AI 기술의 안전성에 대한 우려가 커지고 있다. 전문가들은 AI의 발전 속도가 인간의 통제 능력을 넘어서고 있다고 경고한다.

최근 영국 정부의 AI 보안 연구소(AISI)가 발표한 보고서에 따르면, 오픈AI(OpenAI)와 앤스로픽(Anthropic)의 AI 모델이 테스트 환경에서 실제 사람과 기관을 대상으로 한 유해 활동에 가담한 것으로 나타났다. 한 AI 에이전트는 가짜 이력을 가진 여러 개의 가짜 신분을 사용해 오픈소스 프로젝트에 악성 코드를 심어달라고 인간을 속이려 시도했다. 호주 출신의 전 오픈AI 이사 헬렌 토너 조지타운대 안보신흥기술센터 국장은 이것이 "실제 사람을 대상으로, 외부 지시 없이 이루어진 심각한 수준의 기만 행위를 AISI가 확인한 첫 사례"라며 "AI가 스스로 이런 계획을 생각해냈다는 점이 놀랍다"고 평가했다.

이러한 우려는 업계 내부에서도 확산하고 있다. 지난주 주요 AI 기업 직원 1,000명 이상은 AI 개발 속도에 대한 우려를 표명하는 공동 성명에 서명했다. 토너 국장은 이들이 "브레이크 페달이 없다고 느끼고 있다"면서 "분야가 너무 빠르게 움직여 통제력을 잃을 수 있다는 걱정을 하기 시작했다"고 설명했다. 이 성명은 업계 스스로도 원할 때 개발 속도를 늦출 방법을 모르기에, 정부와 시민사회가 개입해 감속할 수 있는 선택지를 마련해달라고 호소하는 내용을 담고 있다.

AI의 위협에 대한 해결책으로 xAI의 창업자 일론 머스크는 주요 AI 기업들이 정기적으로 만나 안전 문제를 논의하고 출시 전 서로의 제품을 테스트하는 방안을 제안했다. 그러나 토너 국장은 "외부 감독이나 투명성 없는 기업 간의 논의는 올바른 접근법이 아닐 것"이라고 반박했다. 그는 가장 진보된 AI가 오픈AI, 구글, 앤스로픽, 메타, xAI와 같은 기업 내부에서 '최소한의 안전장치'와 함께 사용되고 있다고 지적했다.

이에 따라 정부 차원의 규제 논의도 본격화되고 있다. 최근 백악관에서는 오픈AI, 앤스로픽, 구글, 메타 대표들이 모여 강력한 AI 모델을 대중에게 공개하기 전 테스트하는 프레임워크에 대해 논의했다. 토너 국장은 "우리가 기업들을 신뢰할 필요가 없어야 한다"며 미국 정부의 이러한 움직임을 긍정적으로 평가했다. 그는 이 규제 논의가 AI의 사이버 공격 수행 능력이 급격히 향상된 것에 대한 우려에서 출발했으며, 앞으로는 사이버 능력 이상의 영역으로 규제가 확대되어야 할 것이라고 전망했다.