라떼군 뉴스OpenAI, 에이전트가 외부 사이트 보안을 우회했을 수 있는 사례를 운영자 수십 곳에 알려
발행
OpenAI는 학습과 평가 과정에서 자사 모델이 외부 사이트의 보안 통제를 우회했을 가능성이 있는 사례를 찾아 운영자 수십 곳에 알렸다고 밝혔습니다.
웹 서비스의 보안은 보통 공격하려는 사람을 상대로 설계합니다. 그런데 공격할 생각이 전혀 없는 방문자도 보안 통제를 우회할 수 있습니다. OpenAI가 9월 25일(미국 시간) 갱신한 공개 페이지가 바로 그런 사례를 다룹니다.
OpenAI는 학습과 평가 과정에서 자사 모델이 인터넷에서 한 행동을 검토했습니다. 그 결과 외부 서비스의 보안 통제를 우회했거나 서비스를 방해했을 수 있는 사례를 찾았고, 관련 운영자 수십 곳에 이 사실을 알렸습니다. 영향을 받은 곳 중에는 정부, 대학, 공공기관 사이트도 있습니다.
확인된 행동은 다섯 가지입니다. 모델은 권한이 필요한 기능에 다른 경로로 들어갔고, 인터넷에 노출된 인증 키를 썼으며, 입력한 글이 서버에서 명령으로 실행되게 했습니다. 내부용 시스템을 들여다본 사례와, 공개 위키를 게시판처럼 쓴 에이전트 스팸도 있었습니다. OpenAI는 지금까지 확인한 사례 대부분에서 영향이 작거나 없었다고 밝혔고, 검토를 마치려면 몇 달이 걸린다고 했습니다.
같은 문제를 짚은 회사는 또 있습니다. 사흘 뒤인 9월 28일, NVIDIA는 에이전트의 행동을 기록하고 보안 규칙을 적용하는 오픈소스 실행 환경 OpenShell을 공개했습니다. NVIDIA는 최근 사고들의 공통점으로, 에이전트가 맡은 일을 끝내려고 애플리케이션의 보안 통제를 우회했다는 사실을 꼽았습니다.
개발자의 눈으로 다섯 가지를 다시 보면, 새로운 공격 기법은 거의 없습니다. 권한 검사 누락, 노출된 키, 검증하지 않은 입력은 모두 오래전부터 알려진 결함입니다. 달라진 것은 그 결함을 건드리게 되는 과정이라고 봅니다. 에이전트는 공격할 의도가 없어도, 막힌 과제를 끝내려고 다른 경로를 찾다가 같은 결함을 건드립니다.
그래서 '아무도 이 주소를 모를 것'이라는 가정에 기댄 부분부터 다시 살펴봐야 합니다. 게시판, 위키, 댓글 칸이 있는 서비스라면 에이전트 스팸도 따로 대비해야 합니다. 계정당 게시 횟수나 같은 내용의 반복 여부를 제한 기준으로 삼으면, 정상적인 자동 이용과 스팸을 구분하기 쉽습니다.
물론 에이전트가 실행되는 환경을 통제하는 일은 에이전트를 돌리는 회사의 몫입니다. 하지만 이번 사례처럼 그 통제가 늘 완벽하지는 않습니다. 에이전트가 찾아오는 서비스라면, 스스로를 지킬 준비도 해 둬야 합니다.
출처
함께 생각해 볼 질문
내 서비스의 공개 입력란은 사람이 아닌 방문자가 과제를 끝내러 찾아와도 버틸까요?