자주 묻는 질문

토크나이저·가격·한국어 효율에 관한 15개 질문.

Q1. 같은 의미인데 왜 한국어가 영어보다 토큰을 2~3배 더 쓰나요?

BPE 는 영어 중심 말뭉치로 학습됐기 때문에 한국어 음절 대부분이 단일 토큰으로 병합되어 있지 않고, 보통 2~3개의 바이트 토큰으로 쪼개집니다. GPT-4o 의 o200k_base 와 Gemini 토크나이저는 한국어 병합이 많아 cl100k·Llama 3 대비 훨씬 효율적입니다.

Q2. Claude·Gemini 토큰 수는 정확한가요?

아닙니다. Anthropic 은 브라우저 토크나이저를 공개하지 않았고 Google 도 마찬가지입니다. 본 페이지는 문자 종류별 가중치로 근사합니다. 실제 과금은 Anthropic 의 count_tokens API 또는 Gemini 의 countTokens 엔드포인트로 확인하세요.

Q3. 한국어 글자당 비용이 가장 낮은 모델은?

2026년 4월 기준 Gemini 1.5 Flash 가 한국어 글자당 가장 저렴하며, GPT-4o mini 와 Claude Haiku 4.5 가 뒤를 잇습니다. 홈 화면의 한국어 효율 표에서 모델별 비율을 확인할 수 있습니다.

Q4. Gemini 는 무료인가요?

Google AI Studio 는 Gemini 1.5 Flash 에 넉넉한 무료 한도(작성 시점 기준 15 RPM / 1M TPM / 1,500 RPD)를 제공합니다. Gemini 1.5 Pro 도 작은 무료 한도가 있습니다. 유료 사용은 표기된 1M 토큰당 가격이 적용됩니다.

Q5. 출력 가격은 왜 입력의 4~5배인가요?

입력 토큰은 단일 포워드 패스로 끝나지만, 출력 토큰은 자기회귀(autoregressive) 생성이라 토큰당 연산량이 훨씬 큽니다. 모든 주요 제공사의 가격표가 이 구조를 반영합니다.

Q6. 입력한 텍스트가 서버로 전송되나요?

아니요. 모든 토크나이즈와 비용 계산은 브라우저 안에서만 이뤄집니다. 입력 내용은 서버로 전송되지 않습니다. GPT 계열 토크나이저는 js-tiktoken 으로 로컬 실행됩니다.

Q7. OpenAI 공식 토크나이저와 숫자가 살짝 다를 때가 있는데요?

이 페이지는 순수 텍스트 토큰만 셉니다. 실제 Chat API 요청은 역할/메시지 포맷으로 3~7 토큰, 어시스턴트 프라이밍으로 3 토큰 가량이 추가됩니다. 따라서 API 청구서와는 약간 차이가 날 수 있습니다.

Q8. 긴 문서도 비교할 수 있나요? 크기 제한은?

수백 KB 분량도 최신 브라우저에서 무리 없이 처리됩니다. 10만 토큰 이상의 입력은 tiktoken 인코딩에 약간의 지연이 있습니다. 입력은 300ms 디바운싱으로 타이핑 중 버벅임을 방지합니다.

Q9. 가격은 자동으로 갱신되나요?

아직은 아닙니다. 상단에 표시된 스냅샷 날짜 기준 공개 리스트 가격입니다. 분기마다, 그리고 주요 모델 출시 때마다 수동으로 갱신합니다.

Q10. 프롬프트 캐싱을 쓰면 이 가격과 다른가요?

네. 프롬프트 캐싱을 쓰면 캐시된 토큰은 Claude·GPT-4o 기준 입력가의 약 10%로 과금됩니다. 본 페이지는 기본 리스트 가격을 보여주므로 캐시 접두부 할인은 수동으로 반영하세요.

Q11. Ollama 로 로컬에서 돌리는 Llama 3 같은 모델은요?

로컬 추론은 토큰당 API 비용이 없고 GPU/CPU 시간만 소모합니다. 컨텍스트 사용량 추정을 위해 Llama 토큰 수는 표시하지만 별도의 가격은 제공하지 않습니다.

Q12. 이미지나 오디오는 토큰으로 환산되나요?

네. 각 제공사는 멀티모달 토큰 규칙을 별도로 공시합니다(예: GPT-4o 는 저해상도 이미지 85 토큰 + 512×512 타일당 170 토큰). 본 페이지는 텍스트 전용이며 멀티모달은 각 제공사 계산기를 참고하세요.

Q13. 제 앱에 이 토크나이저를 통합할 수 있나요?

GPT 는 js-tiktoken, Claude·Gemini 는 각 제공사 공식 엔드포인트 사용을 권합니다. 본 사이트도 GPT 계열은 js-tiktoken 을 그대로 사용하며 WASM 없이 약 100KB 번들에 동작합니다.

Q14. 한국어 "글자당 토큰 수"는 어떻게 계산하나요?

효율 섹션의 고정 한국어 샘플 문단을 각 모델로 토크나이즈한 후 [...sample].length(유니코드 코드포인트 수)로 나눕니다. 한글은 음절 하나가 코드포인트 하나라 직관적으로 읽힙니다.

Q15. 한국어로 Claude Opus 를 더 저렴하게 쓰는 방법이 있나요?

시스템 프롬프트를 공격적으로 캐싱하고(긴 시스템 메시지를 여러 사용자에게 재사용), 마크다운/이모지 잡음을 제거하며, 추론이 필요 없는 턴은 Sonnet·Haiku 로 내리세요. 한국어 입력에서는 중복 조사와 존댓말을 다듬어도 10~15% 절약됩니다.