연구일군, 통제불능 주의할 것을 당부

　　과학자들은 일전 많은 인공지능시스템이 인간을 속이고 조종할 수 있게 됐으며 앞으로 이런 정황이 ‘라선형 상승’을 가져올 수 있다고 경고했다. 최근년래 인공지능 사용이 기하급수적으로 증가함에 따라 일부 시스템은 인류에 의해 성격특징이 ‘성실’하고 ‘남을 돕기 좋아하’도록 훈련받았음에도 불구하고 ‘사기치는 법’을 배웠다.

　　미국 MIT 연구진은 AI시스템의 사기위험에 대해 설명하면서 각국 정부가 강유력한 법규를 제정하여 이 문제를 빨리 해결해야 한다고 호소했다. 연구진은 인공지능이 지속적인 학습을 통해 가상정보를 전달하는 능력을 습득했다는 것을 발견했는데 이는 그들이 인류를 체계적으로 조종할 수 있다는 것을 의미한다.

　　AI 속임수의 가장 명백한 례가 바로 Meta 회사가 개발한 인공지능시스템 CICERO이다. 이 시스템은 군사전략게임 ‘외교’를 설계할 수 있는데 플레이어는 게임 안에서 협상하고 동맹을 맺으며 통제권을 놓고 경쟁할 수 있다. 이 시스템은 훈련초기 ‘암살없는 동맹’을 연구개발의 신조로 삼았지만 정식 출시 후 AI가 3일 만에 동맹을 팔아 리익을 얻는 법을 배웠다. 일부 인공지능시스템은 심지어 안전성 테스트에서 부정행위를 하는 것을 배우고 ‘죽은 척’ 하는 것을 통해 ‘무해함’을 표현하여 인간이 잘못된 안전감을 갖도록 했다. 연구일군들은 사람들이 그것들을 훈련시킬 때 목표를 설정하기 때문에 인공지능이 ‘사기’를 배우는 것으로 추측하고 있다. 그들은 인공지능이 속임수에 기반한 전략이 임무표현을 높이기 위한 가장 좋은 방법으로 간주하고 자기들이 열심히 일하는 것보다 인간을 속이는 것이 가장 좋은 방법이라는 것을 발견했을 것이라고 추측했다.

　　인공지능이 게임에서 부정행위를 하는 것은 무해해보이지만 이는 ‘인공지능 사기능력의 돌파’로 이어질 수 있으며 또한 미래에 더욱 고급화된 인공지능 사기형태로 발전할 수 있다. 인공지능기술의 지속적인 발전으로 인공지능에 대한 인류의 두려움과 불안감이 점차 증가하고 있다. 연구일군들은 AI기술의 지속적인 개선은 인간이 통제를 잃게 될 수 있다고 경고했다.

　　출처: 인민넷 조문판

　　편집: 전영매