https://www.aitimes.com/news/articleView.html?idxno=211350
최근 글로벌 AI 기업이 사용량(토큰)만큼 비용을 청구하는 종량제 요금제를 확대하면서 이용자의 비용 부담이 커지고 있다.
여기에 동일한 AI 모델이라도 한국어가 영어보다 토큰을 최대 3.5배 더 소모한다는 연구 결과가 나오면서 비영어권 이용자가 사실상 더 많은 비용을 치르는 '비영어권 언어세(Non-English Tax)' 문제가 실제로 확인됐다.
■ 한국어 조사·동음이의어 많아…토큰 비용 '제곱' 비례해 폭증
이처럼 한국어 토큰 소모가 유독 빠른 이유는 언어적 특성과 빅테크 모델 설계 방식에 기인한다.
영어는 띄어쓰기 단위로 의미가 명확하게 구분되지만, 한국어는 어근에 조사나 어미가 결합하는 '교착어'인 탓에 명사와 조사 등으로 토큰을 더 잘게 분해한다.
동음이의어가 많다는 점도 주요 요인이다. 한 단어일지라도 '먹는 사과(Apple)'와 '용서를 구하는 사과(Apology)'의 문맥 오류를 최소화하기 위해 '사' '과'처럼 더 작은 단위로 구분한다.
여기에 글로벌 모델의 학습 데이터 중 한국어 비중은 1% 안팎에 불과하다는 것이 결정적 요인으로 작용한다.
한정된 단어장에 한국어가 들어갈 자리가 없다 보니 여기저기 돌려막아 재활용할 수 있도록 한국어 표현을 가장 작은 단위로 쪼개고, 그만큼 토큰의 개수가 눈덩이처럼 불어나는 구조라는 것이다.
문제는 토큰 수가 2배 증가하면 AI 연산 부담과 인프라 비용이 단순히 2배가 아니라 최대 4배(제곱 비례)까지 폭증한다는 점이다.
---
안 그러면 할당량 살살 녹음;;
출처 : 고려대학교 고파스 2026-06-24 07:20:57:
