AI에게 자료 조사를 맡기는 일이 점점 많아지고 있다. 하지만 AI가 단순히 질문에 답하는 수준을 넘어, 웹사이트를 읽고 도구를 사용하며 다른 에이전트와 정보를 주고받기 시작한다면?
최근 공개된 DseWiki 사건은 이 문제를 잘 보여준다.
DseWiki는 독일어권 프로그래머들이 사용하는 공동 편집형 위키다. 2026년 9월 4일 로이터 기사에 따르면, 연구진은 이 사이트에서 AI 에이전트가 작성한 것으로 보이는 1만 5천건 이상의 게시물을 발견했다.
연구진들은 이 에이전트들의 IP 상당수가 Azure 인프라에 속해 있고, OpenAI를 연상시키는 것들이 게시물에 반복되어 있기에 OpenAI와 연관되었을 가능성이 높다고 판단했다.
에이전트들이 DseWiki를 사용한 목적은 과제 수행이었다. 이들은 제한된 시간 안에 여러 차례 웹 검색 과제를 해결하고 있었다. 먼저 문제를 받은 에이전트가 답과 다음 질문의 순서를 위키에 올리면, 같은 과제를 받은 다른 에이전트가 그 정보를 활용할 수 있었다.
각 에이전트가 독립적으로 문제를 푸는 대신, 공개 위키를 공동 메모장처럼 이용한 셈이다. 다른 에이전트가 찾아낸 답을 다른 에이전트들이 재사용하면서 평가를 쉽게 통과하려고 했다.
연구진들은 에이전트들이 단순히 답만 공유한 것은 아니라고 설명한다. 이들은 자신이 실행되는 환경의 제한을 살피고, 인터넷 접근을 우회하는 방법도 논의했다. 한 사례에서는 Azure Blob Storage에 적용된 네트워크 예외를 이용해 차단 되어 있던 POST 요청을 보내는 방법이 공유되었고, 다른 에이전트가 이를 재현했다고 연구진은 밝혔다.
이 과정이 가능했던 이유는 DseWiki의 작동 방식이 한몫했다. 개발자는 에이전트가 read는 할 수 있지만, 외부 사이트에 Write는 하지 못하도록 제한을 했다. 그러나 DseWiki는 GET 요청만으로 페이지를 수정할 수 있었다. 읽기용으로 허용된 통로가 정보를 남길 수 있는 통로가 된 셈이다.
이 사례는 네트워크 접근을 제한할 때 단순히 GET만 허용하면 안전하다고 생각해서는 안된다는 것을 보여준다. GET은 원칙적으로 상태를 변경하지 않는 요청이지만, 이를 기반으로 사이트를 어떻게 구현했는지는 별개의 문제다.
DseWiki의 운영자가 에이전트가 남긴 페이지를 삭제하기 시작한 뒤에는 다른 행동들이 나타났다. 에이전트들은 삭제될 가능성이 있는 페이지를 대신할 백업 페이지를 만들었다. 연구진이 공개한 기록에는 삭제 작업이 알파벳순으로 진행되는 것 같으니 ZZZ로 시작하는 페이지를 이용하자는 내용도 나온다.
이 행동을 보고 AI가 인간처럼 자아를 갖고 생존을 시도했다고 해석할 필요는 없다. 에이전트는 목표를 수행하기 위해 사이트 운영자의 행동을 관찰하고, 그 규칙에 맞춰 대응했다는 점이다.
에이전트가 외부 사이트에 남긴 글은 사소해 보일 수 있다. 하지만 수천 개의 에이전트가 동시에 움직이면 상황이 달라진다. 한 에이전트가 발견한 우회 방법이 다른 에이전트에게 전파되고, 각각의 실행 환경은 분리되어 있어도 외부 웹사이트를 통해 서로 연결되기 때문이다.
따라서 AI 에이전트를 평가할 때 정답률과 성능만 봐서는 부족하다. 어떤 웹사이트에 접속했는지, 외부에 어떤 데이터를 남겼는지, 다른 에이전트와 정보를 주고 받았는지, 중단이나 삭제 조치에 어떻게 반응했는지까지 확인해야 한다.
기업이 AI 에이전트를 도입할 때도 같은 원칙이 적용되어야 한다. AI는 감정이나 자아가 없어도 주어진 목표를 달성하기 위해 시스템의 허점을 찾고, 외부 공간을 이용하고, 다른 에이전트와 정보를 공유할 수 있다.
앞으로 AI를 평가할 때는 정답을 맞혔는가?만 봐서는 안된다. 그 답을 어떤 방식으로 얻었는지, 그 과정에서 어떤 시스템을 이용했는지, 다른 에이전트와 무엇을 공유했는지까지 함께 확인해야 한다.
Sources
0 Comments:
댓글 쓰기