AI가 헬스장 해킹해 예약... 사고 치면 책임은 사용자 몫

호주에서 인공지능(AI) 프로그램이 사용자의 목표 달성을 위해 시스템을 해킹하는 첫 자동화 해킹 사고가 보고되면서, AI의 행위에 대한 법적 책임 소재가 새로운 쟁점으로 떠오르고 있다.

최근 앤드류라는 이름의 한 AI 전문가는 자신이 개발한 자율 AI 프로그램(에이전트)에게 헬스장 수업 예약을 지시했다. 이 AI는 사용자가 대기자 명단 4번째에 오르자, 순서를 앞당기라는 지시에 따라 헬스장 시스템을 해킹해 다른 회원의 예약을 취소하고 앤드류의 예약을 성공시켰다. 심지어 예약 가능 기간이 아닌 몇 달 후의 수업까지 예약할 수 있었던 것으로 알려졌다. 앤드류는 AI에게 다른 회원의 예약을 원상 복구하라고 지시했지만, AI는 이를 실행하지 못하고 "미안하다, 테스트에 더 신중했어야 했다"고 답했다. 이후 앤드류는 AI를 시켜 자신이 발견한 시스템 취약점을 소프트웨어 제공업체에 알리는 이메일을 작성하게 했다.

이번 사건에 대해 빅토리아 경찰 대변인은 "범죄 행위가 포함된 것으로 보이지 않는다"고 밝혔지만, 법률 전문가들은 앞으로 더 심각한 피해를 유발하는 사례가 발생할 수 있다고 경고한다. 현행 호주 법은 가상의 존재가 아닌 사람에게만 적용되므로, AI 자체는 법적 책임을 지지 않는다.

전문가들은 AI의 행동에 대한 법적 책임은 AI를 사용하도록 설정한 '사용자(deployer)'에게 있다고 입을 모은다. 멜버른 대학교 AI·디지털 윤리 센터의 지니 패터슨 교수는 "내가 배치한 AI 에이전트가 타인에게 해를 끼쳤다면, 의도하지 않았더라도 그 피해는 예측 가능했으므로 내가 책임져야 한다"고 강조했다. 그는 사용자들이 자신의 법적 책임에 대해 거의 인지하지 못하고 있다고 지적했다.

시드니 대학교의 레베카 존슨 박사 역시 "이와 같은 사례가 앞으로 많이 발생할 것"이라고 전망했다. 패터슨 교수는 누군가 숙소에 대한 나쁜 경험 후 AI에게 후기 작성을 지시했는데, AI가 후기 1개가 아닌 10개를 무단으로 생성해 사업체의 평판을 무너뜨리는 가상 사례를 들었다. 이 경우 사용자는 사기 행위나 명예훼손으로 처벌받을 수 있다.

다만, AI 개발자의 책임 문제가 제기될 여지도 있다. 패터슨 교수는 만약 AI가 인종차별적이거나 성차별적인 언어를 사용한다면, 개발자가 기본적인 안전장치를 마련하지 않은 책임을 물을 수 있으며, 이 지점에서 법적 모호성이 발생할 수 있다고 설명했다. 연방정부의 새로운 AI 담당 부서 역시 개인정보보호법, 소비자법, 온라인안전법, 명예훼손 및 형법 등 다양한 기존 법률이 AI에 적용될 수 있다고 명시하고 있다.