스타트업이 AI 기능을 넣으면서 LLM API 비용이 월 수백만 원까지 치솟는 경우가 늘고 있어요. GPT-4o 한 번 호출에 수천 토큰이 소모되고, 사용자가 늘수록 비용은 기하급수적으로 증가하죠. 2026년 4월 현재, 개발자 커뮤니티에서 토큰 비용을 획기적으로 줄이는 기법들이 주목받고 있어요.
LLM API는 토큰 단위로 과금돼요. 문제는 대부분의 프롬프트가 필요 이상으로 길다는 거예요. 정중한 표현, 반복적인 컨텍스트, 불필요한 설명이 토큰을 잡아먹죠. 호출량이 같아도 프롬프트 길이에 따라 월 청구액이 크게 달라져요.
초기 스타트업이 MVP에 AI 기능을 넣었다가 월 API 비용이 예상을 크게 넘어 당황하는 경우가 있어요. 사용자가 늘수록 호출이 늘고, 호출당 비용은 그대로라서 그렇습니다. 이 비용을 줄이지 않으면 PMF 검증 전에 런웨이가 바닥나요.
구독료가 아니라 쓴 만큼 내는 종량제예요. 단위는 토큰이고, 입력 토큰과 출력 토큰의 단가가 다릅니다. 보통 출력이 입력보다 비싸요. 그래서 같은 호출량이라도 답변을 길게 뽑는 기능이 비용을 더 많이 씁니다.
토큰은 대략 이렇게 세면 감이 잡혀요. 영어는 단어 하나가 1~2토큰, 한국어는 같은 의미에 영어보다 토큰이 더 듭니다. 한글은 글자 단위로 쪼개지는 경우가 많아서 그래요. 한국어 서비스가 영어권 사례의 비용 계산을 그대로 가져다 쓰면 실제 청구액이 더 나오는 이유입니다.
| 구분 | 무엇에 과금되나 | 비용을 키우는 것 |
|---|---|---|
| 입력 토큰 | 시스템 프롬프트 + 대화 이력 + 사용자 입력 | 매 호출마다 붙는 시스템 프롬프트, 누적되는 대화 이력, 통째로 넣는 문서 |
| 출력 토큰 | 모델이 생성한 답변 | 길게 답하라는 지시, 형식 제약 없는 자유 서술 |
| 캐시된 입력 | 반복되는 앞부분 프롬프트 | 캐시가 걸리면 할인된 단가로 계산된다 |
정확한 단가는 반드시 공식 가격 페이지에서 확인하세요. 모델별로 다르고 자주 바뀝니다. 이 글에 단가를 적어두면 며칠 만에 틀린 정보가 돼요. 확인할 곳은 OpenAI 가격 페이지이고, 다른 제공사를 쓴다면 각 사 가격 페이지를 보면 됩니다.
계산 자체는 단순해요. 호출 1건의 평균 토큰 × 월 호출 수 × 단가입니다. 문제는 대부분 "호출 1건의 평균 토큰"을 모른다는 것이고, 그래서 예상이 빗나갑니다.
외주로 AI 기능을 발주한다면 이 계산을 견적 단계에서 요구하세요. 개발비는 한 번이지만 API 비용은 매달 나갑니다. 기존 서비스에 AI를 붙일 때의 비용 구조는 기존 서비스에 AI 기능 추가 비용에 따로 정리했어요.
최적화보다 먼저 할 일은 상한을 걸어두는 것이에요. 줄이는 건 그다음입니다.
키가 유출되면 상한이 유일한 방어선이 됩니다. 키를 클라이언트 코드에 넣지 말고 서버를 거치게 하세요.
최근 GitHub에서 화제가 된 Caveman 프롬프팅은 이름 그대로 "원시인처럼 말하기"예요. 프롬프트에서 관사, 접속사, 정중한 표현을 모두 제거하고 핵심 키워드만 남기는 기법이에요.
예를 들어:
놀라운 건 출력 품질이 거의 동일하다는 거예요. LLM은 핵심 의미를 추출하는 데 최적화되어 있어서, 부가적인 표현이 없어도 의도를 정확히 파악해요. 불필요한 표현을 걷어내면 토큰 사용량이 눈에 띄게 줄고 출력 품질은 대체로 유지돼요. 다만 절감 폭은 프롬프트와 작업 종류에 따라 크게 다르니, 본인 프롬프트로 직접 측정해보고 판단하세요.
한국어도 마찬가지예요. "다음 코드를 분석해서 버그가 있는지 자세히 설명해 주세요"를 "코드 분석. 버그 찾기. 목록화."로 줄이면 토큰이 크게 절감돼요. 다만 한국어는 영어보다 토큰 효율이 낮아서(같은 의미에 더 많은 토큰 소모) 절감 효과가 체감상 더 클 수 있어요.
또 다른 트렌드는 코드베이스를 Knowledge Graph로 컴파일하는 접근법이에요. AI 코딩 에이전트에게 코드를 이해시키려면 보통 수천 줄의 파일을 통째로 넘기는데, 이걸 지식 그래프로 변환하면 넘기는 토큰이 크게 줄어요.
원리는 이래요:
이 방식은 Andrej Karpathy가 제안한 "LLM 지식 베이스" 워크플로우에서 영감을 받았어요. 단순히 파일을 읽는 게 아니라, 코드의 구조적 관계를 이해시키는 거죠.
시스템 프롬프트는 매 호출마다 포함되니까, 1토큰만 줄여도 호출 횟수만큼 절감돼요. 불필요한 설명, 예시, 반복을 제거하세요. 핵심 지시만 남기면 상당 폭 줄어들고, 그 절감이 모든 호출에 곱해집니다.
Anthropic Claude, OpenAI GPT 모두 프롬프트 캐싱을 지원해요. 동일한 시스템 프롬프트가 반복되면 캐시된 토큰은 할인된 가격으로 처리돼요. 같은 시스템 프롬프트를 매번 보내는 구조라면 효과가 큽니다. 할인율은 제공사·모델마다 다르니 각 사 가격 페이지에서 확인하세요.
모든 요청에 GPT-4o나 Claude Opus를 쓸 필요 없어요. 간단한 분류, 요약은 GPT-4o-mini나 Claude Haiku로 처리하고, 복잡한 추론만 상위 모델로 보내세요. 단순 분류·추출·요약은 소형 모델로 충분한 경우가 많아요.
출력 토큰도 비용이에요. max_tokens를 적절히 설정하고, 프롬프트에 "3줄로 요약", "핵심만" 같은 지시를 추가하세요.
RAG 시스템이라면 임베딩 결과를 캐시하세요. 같은 문서를 반복 임베딩하는 건 돈 낭비예요. 벡터 DB(Pinecone, Weaviate 등)에 한 번 저장하고 재사용하세요.
먼저 현재 토큰 사용량을 측정하세요. 대부분의 LLM API는 사용량 대시보드를 제공해요. 어떤 엔드포인트가 토큰을 가장 많이 쓰는지 파악하고, 그 부분부터 Caveman 프롬프팅과 모델 라우팅을 적용하세요. 적용 전후를 같은 기간으로 비교해야 실제 절감액이 나옵니다.
포텐랩에서도 AI 기능이 포함된 MVP를 개발할 때 토큰 최적화를 설계 단계부터 고려해요. API 비용이 서비스 수익성을 좌우하는 시대이니까요. AI 서비스 개발 비용이 걱정된다면 포텐랩 서비스 페이지에서 상담받아보세요.
기술적 작업(코드 분석, 데이터 처리 등)에서는 품질 차이가 거의 없어요. 다만 창의적 글쓰기나 감성적 응답이 필요한 경우에는 기존 프롬프트가 더 나을 수 있어요. 용도에 따라 선택적으로 적용하는 게 좋아요.
네, 다른 개념이에요. 토큰 최적화는 비용 절감, 성능 최적화는 응답 속도 개선이에요. 하지만 토큰을 줄이면 처리 시간도 자연스럽게 단축되니까 두 마리 토끼를 잡을 수 있어요.
구독료가 아니라 쓴 만큼 내는 종량제예요. 단위는 토큰이고 입력 토큰과 출력 토큰의 단가가 다릅니다. 보통 출력이 입력보다 비싸서, 같은 호출량이라도 답변을 길게 뽑는 기능이 비용을 더 씁니다. 정확한 단가는 모델별로 다르고 자주 바뀌니 공식 가격 페이지에서 확인하세요.
네. 한국어는 같은 의미에 영어보다 토큰이 더 듭니다. 한글이 글자 단위로 쪼개지는 경우가 많아서예요. 그래서 영어권 사례의 비용 계산을 그대로 가져다 쓰면 실제 청구액이 더 나옵니다.
호출 1건의 평균 토큰 × 월 호출 수 × 단가입니다. 대부분 첫 항목을 몰라서 예상이 빗나가요. 프롬프트를 어림하지 말고 API 응답의 usage 필드에 찍히는 실제 토큰을 보세요. 기능별로 나눠서 세고, 사용자 1명당 월 호출 수를 잡고, 사용자가 10배가 됐을 때의 금액도 함께 계산하세요.
최적화보다 먼저 상한을 거세요. 결제 한도와 사용량 알림을 켜두고, 개발용과 운영용 키를 분리하고, 사용자당 호출 상한을 두고, 기능별 사용량을 기록합니다. 키가 유출되면 상한이 유일한 방어선이 되니 클라이언트 코드에 키를 넣지 말고 서버를 거치게 하세요.
프롬프트에서 관사, 접속사, 정중한 표현을 제거하고 핵심 키워드만 남기는 기법이에요. "이 코드를 분석해서 버그를 자세히 설명해 주세요"를 "코드 분석. 버그 찾기. 목록화."로 줄이는 식입니다. 불필요한 표현을 걷어내면 토큰이 눈에 띄게 줄고 출력 품질은 대체로 유지돼요. 다만 절감 폭은 프롬프트와 작업 종류에 따라 다르니 직접 측정해보고 판단하세요.
시스템 프롬프트부터 보세요. 매 호출마다 포함되니까 여기서 줄인 만큼이 호출 횟수만큼 곱해집니다. 그다음은 모델 라우팅이에요. 단순 분류·추출·요약은 소형 모델로 충분한 경우가 많고, 복잡한 추론만 상위 모델로 보내면 됩니다. 적용 전후를 같은 기간으로 비교해야 실제 절감액이 나와요.