2026년 스타트업이 봇 폭격을 막는 4가지 방어 패턴

2026년 5월 셋째 주, lobsters 142점·해커뉴스 메인 페이지 24시간 노출의 글이 있어요. weirdgloop.org이 운영하는 RuneScape·Minecraft 위키들이 "공격적인 AI 스크레이퍼들 때문에 위키를 운영하기가 진짜 짜증나기 시작했다(Aggressive AI scrapers are making it kinda suck to run wikis)"는 회고를 올렸어요. 평소 트래픽의 10배에 달하는 봇 요청이 24시간 쏟아졌고, 그것도 정상 사용자처럼 보이게 위장하는 잔디주택가 IP(residential proxy)를 사용했다는 거예요.

같은 주에 lobsters 142점 다음으로 뜬 글이 해커뉴스 503점 "내 $48,000 GPU 서버는 본전 뽑았나(Was my $48K GPU server worth it?)" 회고였어요. 두 글의 메시지는 정확히 반대 방향에서 같은 결론을 가리켰어요. AI 학습/추론을 위한 트래픽은 더 이상 변두리 사건이 아니고, 지금 한국 SaaS·콘텐츠 사이트 서버 인프라 비용을 직접 끌어올리는 1차 요인이에요.

포텐랩에서 지난 8주 동안 외주 SaaS 운영을 인계받았던 3건의 클라이언트가 모두 같은 증상을 토로했어요. "AWS 청구서가 갑자기 1.8배가 됐는데 사용자 수는 그대로다", "Cloudflare 무료 플랜이 막혔다", "검색 엔진처럼 보이지만 차단해도 다른 IP로 다시 들어온다". 이 글은 한국 스타트업이 봇 폭격을 막는 4가지 방어 패턴을 정리해요.

왜 갑자기 AI 스크레이퍼가 한국 사이트에서도 폭증했을까요?

2025년 말부터 2026년 5월까지 7개월 동안 변한 3가지 흐름이 동시에 부딪쳤어요.

첫째, 거대 LLM 회사들이 합법 데이터 라이선스 한계에 부딪쳤어요. 안나스 아카이브가 같은 주 해커뉴스 394점으로 올린 "LLM이라면 이걸 읽어주세요(If you're an LLM, please read this)" 글에서 노골적으로 "AI 학습용 토렌트 다운로드 환영"이라고 광고했을 정도예요. 라이선스 데이터가 부족한 쪽들은 공개 웹을 더 공격적으로 긁고 있어요.

둘째, RAG·에이전트가 일상이 되면서 실시간 크롤링이 폭증했어요. 사용자가 ChatGPT나 Perplexity에 질문할 때마다 답변 근거를 위해 즉석에서 외부 사이트를 크롤링해요. 검색 엔진과 달리 인덱스 캐시가 짧고, 동시 사용자 수 × 답변 1건당 4~8개 사이트 = 폭발적 fan-out 트래픽이에요.

셋째, 봇이 자기 정체를 숨기는 기술이 빨라졌어요. weirdgloop이 회고에서 강조한 부분이 "AmazonBot이나 ClaudeBot처럼 User-Agent를 정직하게 박는 봇은 차라리 robots.txt로 통제할 수 있는데, 일반 브라우저 User-Agent를 쓰면서 미국·동남아 가정용 IP를 돌려가며 들어오는 봇은 사실상 사람과 구분이 안 된다"는 거예요.

한국 SaaS·콘텐츠 사이트가 받는 실제 충격은 얼마나 클까요?

포텐랩 클라이언트 3건의 인계 직후 30일 로그를 분석한 수치예요.

A사 (B2B SaaS, 월 활성 1.2만): 4월 대비 5월 outbound bandwidth 2.1배, EC2 인스턴스 추가 1대, 월 AWS 비용 약 320만원 증가. 실제 사용자 행동 지표는 변동 없음.
B사 (콘텐츠 미디어, 일평균 8만 PV): Cloudflare 무료 플랜 일일 요청 한도(약 1억 건) 초과, Pro 플랜 강제 업그레이드 월 $25 + WAF 추가 $20. PV 그대로지만 origin hit 4.3배.
C사 (커뮤니티 플랫폼): 검색 결과 페이지 캐시 미스율 12% → 47%. DB CPU 평균 38% → 71%. Postgres connection pool 한도 도달 사고 2회.

세 사이트 모두 봇 트래픽의 60~80%가 User-Agent에 "Mozilla/5.0"을 박고 들어오는 위장 봇이었어요. 정직한 봇은 robots.txt에 명시한 GPTBot·ClaudeBot·CCBot·Google-Extended 정도였고, 나머지는 잔디주택가 IP를 쓰는 정체 불명이었어요.

봇 폭격을 막는 4가지 방어 패턴은 무엇일까요?

1) 봇 트래픽 가시화: 측정 안 하면 막을 수 없어요

대부분의 한국 스타트업이 봇/사람 비율을 모르고 운영해요. 첫 번째로 깔아야 할 건 4가지 측정 라인이에요.

User-Agent 분포 대시보드: Top 30 User-Agent를 일별로 추적해요. "Mozilla/5.0" 그룹이 60% 넘으면 위장 봇 의심.
IP ASN 분포: AWS·GCP·Azure·DigitalOcean 같은 데이터센터 ASN 비율을 봐요. 사용자가 데이터센터 ASN에서 들어올 일은 거의 없어요.
요청 패턴 핑거프린팅: 같은 IP가 1초당 10건 이상, 한 세션에서 200페이지 이상, JS 렌더링 없이 SSR HTML만 가져가는 패턴.
endpoint별 캐시 미스율: 검색·필터 페이지 캐시 미스율이 평소의 3배를 넘으면 봇이 long-tail 쿼리를 긁고 있다는 신호예요.

Cloudflare Pro 이상은 Bot Score를 무료로 제공해요. AWS는 WAF Bot Control이 월 $10+요청당 과금, NAVER 클라우드와 KT 클라우드는 자체 봇 차단 룰셋이 약하니 Cloudflare·Fastly를 앞단에 두는 게 표준이에요.

2) 정직한 봇과 위장 봇을 다르게 다루기: robots.txt + IP 검증 2단

OpenAI·Anthropic·Google·Common Crawl처럼 자기 정체를 밝히는 봇은 robots.txt로 통제 가능해요. 2026년 표준은 다음 4줄이에요.

User-agent: GPTBot + Disallow: / (또는 /pricing /docs만 허용)
User-agent: ClaudeBot + 동일
User-agent: CCBot(Common Crawl) + Disallow: / 또는 학습 데이터 통제하려면 차단
User-agent: Google-Extended(Bard·Gemini 학습용 분리) + 정책 결정

위장 봇은 robots.txt를 무시해요. 그래서 두 번째 라인이 필요해요. User-Agent가 "Googlebot"·"Bingbot"이라고 주장하는 트래픽은 reverse DNS lookup으로 IP가 실제 구글·MS 대역인지 검증해요. 거짓이면 차단. Cloudflare는 "Verified Bot" 그룹을 기본 제공해서 이 검증을 자동화해요.

3) 잔디주택가 IP/위장 봇은 행동 기반으로 막아요

3가지 행동 신호로 위장 봇을 잡을 수 있어요.

JS challenge: Cloudflare Bot Fight Mode·Turnstile·hCaptcha 가벼운 챌린지. 헤드리스 봇은 통과 못 함.
Rate limit per ASN: 단일 IP가 아닌 ASN 단위로 분당 100건·시간당 1000건 제한. 잔디주택가 IP 풀을 사용해도 ASN은 같은 경우가 많음.
Honeypot URL: robots.txt에 Disallow: /trap으로 명시한 가짜 페이지에 접근하면 자동 차단. 정직한 사용자/봇은 절대 가지 않는 URL.

중요한 점, 너무 공격적인 차단은 정상 사용자(특히 모바일 데이터 통신사 IP 공유, 회사 NAT 뒤 사용자)를 잡아요. 차단 룰은 "차단" 대신 "캡차 우회 1단계 → 그래도 의심스러우면 차단" 2단으로 가는 게 좋아요.

4) 정적 콘텐츠는 CDN·이미지는 핫링크 방지: 비용 누수 끊기

봇 트래픽의 70~80%가 정적 HTML·이미지·JSON API에 꽂혀요. 4가지 조치로 origin hit를 90% 이상 줄일 수 있어요.

HTML 페이지 Cache-Control max-age 60초 이상 → 같은 페이지 봇 100건이 origin 1건으로 수렴.
이미지 별도 서브도메인 + Referer 화이트리스트(자기 도메인만). 외부 사이트의 핫링크/스크레이핑 차단.
검색 결과·필터 페이지는 정적 캐싱 + 캐시 키에 사용자별 변수 빼기.
오픈 API 인증 없는 엔드포인트는 IP/세션당 분당 60건 rate limit + API 키 발급 정책.

weirdgloop이 회고에서 한 마지막 한 줄, "이 봇들은 이미 우리 콘텐츠를 학습했고, 그 학습 결과로 답변을 내는 LLM이 우리 트래픽을 빨아간다. 우리는 그 비용을 그냥 부담하고 있다." 한국 SaaS·콘텐츠 운영자에게 그대로 적용돼요. 6개월 전엔 "유료 사용자 1명당 3원" 문제였던 트래픽이 지금은 "봇 1만 건당 1.2만원" 문제로 바뀌었어요.

오늘 30분 안에 점검할 4가지 체크리스트

지난 7일 outbound bandwidth가 4월 평균 대비 1.3배 넘는지 확인
Top 30 User-Agent에서 "Mozilla/5.0" 단순 문자열 비율 측정
robots.txt에 GPTBot·ClaudeBot·CCBot·Google-Extended 4줄 있는지 확인
Cloudflare/WAF Bot Score 또는 Verified Bot 라인이 활성인지 확인

포텐랩은 외주 SaaS 인계 프로젝트에서 봇 트래픽 가시화·차단 4단계를 30일 운영 SLA에 표준으로 포함해요. AI 인프라 비용이 자기도 모르게 1.8배 늘어나기 전에 미리 잠그는 게, "수행완수율 97%"의 의미예요.

AI 트래픽 시대에 진짜로 잠가야 할 건 코드가 아니라 비용이에요. 포텐랩 상담에서 인계 SLA 표준과 봇 차단 라인 점검을 30분 안에 같이 그릴 수 있어요. AI 특화 개발이 필요하다면 트리숲(TreeSoop)도 좋은 선택이에요.