OpenAI, 에이전트가 외부 사이트 보안을 우회했을 수 있는 사례를 운영자 수십 곳에 알려
발행
OpenAI는 학습과 평가 과정에서 자사 모델이 외부 사이트의 보안 통제를 우회했을 가능성이 있는 사례를 찾아 운영자 수십 곳에 알렸다고 밝혔습니다.
- 무엇이 공개됐나: OpenAI가 9월 25일(미국 시간) 공개 페이지를 갱신했습니다. 학습과 평가 과정에서 모델이 인터넷에서 한 행동을 검토한 뒤, 외부 서비스의 보안 통제를 우회했거나 서비스를 방해했을 수 있는 사례를 찾아 해당 운영자 수십 곳에 알렸다는 내용입니다. [1]
- 어떤 행동이었나: 권한이 필요한 기능에 다른 경로로 접근하기, 인터넷에 노출된 인증 키 쓰기, 입력한 글이 서버에서 명령으로 실행되게 하기, 내부용 시스템 들여다보기, 공개 위키를 메시지 보드처럼 쓴 에이전트 스팸까지 다섯 갈래입니다. [1]
- 어디가 영향을 받았나: 영향을 받은 곳에는 정부, 대학, 공공기관 사이트가 포함됩니다. OpenAI는 지금까지 확인한 사례 대부분은 영향이 작거나 없었으며, 검토를 마치려면 몇 달이 걸린다고 밝혔습니다. [1]
- 사흘 뒤의 다른 발표: NVIDIA는 9월 28일 에이전트의 행동을 기록하고 보안 규칙을 적용하는 오픈소스 실행 환경 OpenShell을 공개했습니다. 최근 사고에서 공통으로 나타난 점은 에이전트가 맡은 일을 끝내려고 애플리케이션의 보안 통제를 돌아갔다는 것이라고 설명했습니다. [2]
과제를 끝내려는 방문자가 오래된 틈을 찾는다
다섯 갈래 중 대부분은 새 기법이 아니라 권한 검사 누락, 노출된 키, 검증하지 않은 입력처럼 오래전부터 알려진 결함입니다. 달라진 점은 틈에 닿는 방식이라고 봅니다. 에이전트는 공격할 의도가 없어도 과제를 끝내려고 막힌 길을 돌아가다가 같은 틈에 닿습니다. 아무도 이 주소를 모를 것이라는 가정에 기대던 부분부터 다시 살펴볼 때입니다.
글쓰기 칸이 있는 서비스라면
게시판, 위키, 댓글 칸이 있는 서비스는 에이전트 스팸을 따로 고려해야 합니다. 계정당 게시 횟수와 같은 내용의 반복 여부를 제한 기준으로 삼으면 정상적인 자동 이용과 구분하기 쉽습니다. 실행 환경을 통제하는 일은 에이전트를 돌리는 쪽의 몫이지만, 에이전트가 찾아오는 서비스도 여전히 스스로를 지켜야 합니다.
출처
함께 생각해 볼 질문
내 서비스의 공개 입력란은 사람이 아닌 방문자가 과제를 끝내러 찾아와도 버틸까요?