토큰 맥싱(tokenmaxxing)의 문제점

토큰 활용 극대화(tokenmaxxing)가 팀 내에서 흔히하는 농담이었는데, 이젠 현실이 되고 있다.

간단히 말해, 토큰맥싱(tokenmaxxing)이란 모델 사용량을 최대한 늘리거나 혹은 생산적인 것처럼 보이도록 사용량을 눈에 띄게 만드는 것을 의미한다. 이는 프롬프트를 길게 쓰거나 에이전트 루프 횟수를 증가 시키거나 백그라운드 작업 혹은 컨텍스트 윈도우 크기 확대 등을 통해 구현될 수 있다. 토큰 자체는 실제적인 측정 데이터는 맞다.

3월달에 엔비디아 CEO 젠슨 황은 50만달러 연봉을 받는 엔지니어가 20만 달러를 토큰 구매에 쓰지 않는다면 "매우 우려스러울 것"이라고 말하며 "토큰 최대화(tokenmaxxing)"이라는 용어를 유행 시켰다. (https://www.businessinsider.com/jensen-huang-500k-engineers-250k-ai-tokens-nvidia-compute-2026-3)

이런 상황에서 일반적으로 저지르는 실수는 계산 가능한 컴퓨팅 단위가 곧 가치의 단위라고 가정하는데 있다. 근데 진짜 토큰을 많이 쓰면 가치 있다고 생각하는건 아니겠죠? (참고: https://www.giljae.com/2026/07/blog-post_11.html)

가트너는 사용량 기반 모델로 인해 AI 코딩 비용이 평균 개발자 임금을 넘어설 것이라고 예측을 하였고, 이에 따라 기업들은 토큰 지출에 더욱 신중해지고 있는 상황이다.

초기에 높은 사용량이 마치 최고인듯 사용량을 부추겼던 "토큰 최대화(tokenmaxxing)" 추세가 Uber의 AI 예산 소진과 마이크로소프트의 클로드 코드 사용 중단과 같은 주요 사건들을 계기로 재평가되고 있다.

토큰 지출의 핵심 트렌드는 하나의 프리미엄 모델에서 여러가지 다른 모델로 소비 포트폴리오를 전환하고 있고, 과거와는 다르게 토큰 사용에 더욱 신중해지고 있다는 점이다.

현재까지 토큰맥심은 AI 도구 도입을 촉진하기 위한 접근 방식으로 빠르게 부상했다. 어떤 목적인지는 잘 모르겠으나, 업계를 이끄는 리더들이 이런 추세를 지지해왔다. 데이터브릭스의 CEO는 2주동안 7000달러 이상의 토큰을 사용한 엔지니어를 칭찬하기도 했다. (https://www.forbes.com/sites/richardnieva/2026/03/31/the-ai-gods-spending-as-much-as-they-can-on-ai-tokens/)

그러나 현재는 토큰 사용에 대한 감시가 강화되고 있고, 토큰맥싱은 점점 사라질 것이라 생각된다.
예를 들어 이런 것이다. AI시대에 맞춰서 토큰 사용을 권장 했는데, 정작 직원들은 이메일 내용 검토에 프론티어 모델을 쓰는 상황이 발생한다면? 이는 엄청 비효율적으로 사용하는 행위이다.

Subscription 방식으로 LLM을 사용한다면 큰 문제는 없을 수 있다. 보안으로 인해 사용량 기반으로 LLM을 도입하는 곳에서는 큰 문제가 발생할 수 있다. 어디에 적용하는 것이 적절한지 파악하려는 노력을 해야 하기 때문이다.

즉, 핵심은 고부가가치 작업에는 최첨단 모델을, 저부가가치 작업에는 저렴한 모델을 사용하는 균형을 찾는 것이다.

이 균형을 찾았다고 해서 모든 문제가 끝난 것이 아니다.

AI 투자에 대한 정당성을 입증해야 하기 때문이다. 어디에 지출을 했으면, 실질적인 개선 결과가 나오지 않으면 낭비로 비춰질 위험이 있기 때문이다.

현재 기술 업계 전반에서는 비용 절감을 위해 다양한 모델을 혼합하여 사용하는 것이 일반화되고 있는 추세이고, 토큰 지출을 통제하기 시작했다. 그러나 아직 이렇다 할 케이스는 보이지 않는다.

앞으로 더욱 강력한 모델들이 시장에 등장 할 것이고, 지출에 변동이 생길 것이다. 이런 상황에서 투자를 가치와 연계하기 위해 어떤 노력을 해야 할지 고민이 필요하다.