New York Times가 Brave를 고소했습니다, 이름을 밝히지 않은 크롤러가 고의의 근거로 올랐습니다

검색 엔진은 크롤러라는 프로그램을 보내 웹 문서를 모읍니다. 사이트 주인은 크롤러가 요청할 때마다 밝히는 이름인 user agent를 보고 누구를 들이고 누구를 막을지 정합니다. New York Times는 11월 2일, 이 이름을 밝히지 않은 크롤러를 문제 삼아 브라우저와 검색 엔진을 만드는 Brave를 뉴욕 남부 연방지방법원에 고소했습니다.

소장에서 Times는 Brave가 300억 개가 넘는 웹 문서를 모은 자체 색인으로 두 가지 사업을 한다고 주장합니다. 하나는 색인의 글을 언어 모델에 넣어 질문에 바로 답하는 Ask Brave이고, 다른 하나는 같은 색인을 AI 회사에 파는 Brave API입니다. Times는 자사 기사가 그 색인에 허락 없이 들어갔다고 봅니다.

소장은 브라우저 기능도 문제 삼습니다. Brave 브라우저에는 유료 구독 벽을 넘어 기사를 보여 주는 "Paywall blocker" 설정이 있고, Brave는 이를 "Bypass Paywalls"라고 홍보했습니다. Times는 이 기능이 접근 통제 장치의 우회를 막는 미국 저작권법 조항(DMCA 1201조)을 어긴다고 주장합니다.

눈여겨볼 대목은 크롤러의 이름입니다. Brave는 검색 도움말에서 구글만 허용하는 사이트에서 차별받지 않도록 자사 크롤러에 별도의 이름을 붙이지 않는다고 설명합니다. 대신 Googlebot이 들어갈 수 없는 지면에는 자사 크롤러도 들어가지 않는다고 밝혔습니다. Times는 이 선택이 사이트 주인에게 막을 방법을 주지 않았다고 보고, 고의적인 침해의 근거로 들었습니다.

이제 크롤러 개발자가 답해야 할 질문도 달라집니다. 지금까지 크롤러 이름을 밝히는 일은 사이트 주인에 대한 예의에 가까웠고, 이름을 감추면 덜 막힌다는 실리도 있었습니다. 하지만 이 소송에서는 이름을 감춘 일이 사이트 주인이 막을 길을 없앤 고의로 읽힙니다. 검색 결과에 링크를 거는 일과 AI가 글을 읽고 답을 지어 주는 일을 같은 이름으로 묶으면, 사이트 주인은 둘 중 하나만 골라 허락할 수 없습니다.

그래서 크롤러나 AI 답변 기능을 만드는 팀은 이름부터 정해야 합니다. 쓰임마다 다른 이름을 붙여 공개하고, 사이트 주인이 robots.txt로 그 이름을 막을 수 있게 해야 합니다. Google도 사이트가 검색과 별도로 Gemini 학습과 답변 근거에 쓸지를 정하도록 Google-Extended라는 robots.txt 이름을 두었습니다. Google은 이 이름이 검색 노출에는 영향을 주지 않는다고 설명합니다.

다만 소장에 담긴 내용은 Times의 주장일 뿐, 법원이 판단한 사실은 아닙니다. Brave는 Googlebot이 갈 수 있는 곳만 간다고 밝혀 왔으니, 구글을 허용한 사이트라면 이미 문을 열어 둔 것이라고 다툴 여지도 있습니다.

결국 크롤러의 이름은 기술 선택을 넘어 법정에서 읽히는 기록이 됐습니다. 사이트 운영자에게도 할 일이 하나 있습니다. robots.txt가 구글만 허용하는 목록인지 확인하고, 검색 노출과 AI 활용을 따로 정할 수 있도록 크롤러 이름마다 규칙을 나누면 됩니다.

출처

1. The New York Times Co. v. Brave Software, Inc. 소장, 뉴욕 남부 연방지방법원 사건 번호 1:26-cv-09549, 2026년 11월 2일 제출.
2. Brave Search 도움말: Brave Search Crawler, 2026년 11월 3일 확인.
3. Google 크롤링 문서: Google-Extended, 2026년 11월 3일 확인.
4. The Verge: The New York Times sues Brave web browser for AI scraping and bypassing paywalls, 2026년 11월 2일(미국 시간).