거대 모델의 시대를 넘어

최근 몇 년간 AI의 발전 공식은 명확했다. 더 많은 데이터, 더 큰 컴퓨팅 파워 그리고 더 거대한 모델을 만드는 것이었다.

하지만 모델이 커질수록 천문학적인 비용이 발생하고 효율성이 떨어지는 문제에 직면하게 되었다. 시장의 시선은 단순히 하나의 거대한 두되를 만드는 것을 넘어서 이미 존재하는 여러 뛰어난 모델들을 어떻게 하면 효과적으로 협력시킬 것인가로 옮겨가고 있다.

일본의 AI 스타트업 Sakana AI 연구진이 발표혀나 Trinity는 이 질문에 대한 가장 혁신적인 해답을 제시한다. Trinity는 스스로 문제를 풀기보다 여러 전문가 AI들을 적재적소에 배치하고 조율하는 '지능의 조율자' 역할을 수행하며, 코딩과 수학 등 복잡한 분야에서 좋은 기록을 내고 있다.

Trinity란?

Trinity는 개별 모델의 파라미터를 합치는 물리적 결합(Model Merging) 대신에 실행 시점에 여러 모델의 강점을 결합하는 조율 시스템이다. 이 시스템의 이름이 Trinity(삼위일체)인 이유는 복잡한 문제를 해결하기 위해 AI의 역할을 세 가지로 정의했기 때문이다.

1. Thinker: 문제를 분석하고 해결을 위한 전체 설계도를 그린다. 고차원적인 계획을 세우거나 복잡한 문제를 작은 단위로 쪼개는 역할을 맡는다.
2. Worker: Thinker가 세운 계획에 따라 코드를 짜거나 수식을 풀며 정답을 도출한다.
3. Verifier: Worker의 답이 맞는지, 요구사항을 충족했는지 꼼꼼하게 확인한다. 만약 부족하다면 수정을 요구하며 프로세스를 다시 돌린다.

위 세가지 역할이 유기적으로 반복되면서, 혼자서는 풀기 힘들었던 난제들이 하나씩 해결된다.

핵심 기술

Trinity 시스템 내부에는 약 6억개의 파라미터를 가진 아주 작은 규모릐 언어 모델(SLM)이 Coordinator로 존재한다. 이 작은 모델이 어떻게 GPT나 Claude같은 거대 모델들을 지휘할 수 있을까?

그 비결은 Hidden States에 있다. Trinity는 모델 내부에서 발생하는 수치적 신호를 분석한다. 연구진은 모델이 문장을 생성하기 직전 단계의 신호에 문제 해결을 위한 핵심 맥락이 담겨 있다는 사실에 주목했다.

예를 들어 베테랑 지휘자가 연주자의 호흡만 보고도 실력을 알아차리듯, 숨겨진 신호를 통해 이 문제는 수학 전문가인 Gemini에게 맡기고, 전략은 GPT가 짜게 해야 겠다는 판단을 내린다.

진화 전략

Trinity를 똑똑하게 만드는 방법은 일반적인 AI 학습볍인 강화학습 대신, 생물의 진화를 모방한 진화 전략(sep-CMA-ES)을 사용했다.

강화학습은 복잡한 조율 과정에서 어떤 선택이 결정적인 역할을 했는지 파악하기가 어렵다. 그래서 학습이 불완정하다는 단점이 있다. 반면 진화 전략은 수많은 조율 방식 중에 좋은 방식을 골라내고 조합하며 최적의 레시피를 찾아낸다. 이 방식은 훨씬 적은 비용으로도 뛰어난 성능을 발휘할 수 있게 해주었고, 특히 고차원적인 조율 문제에서 강화학습보다 압도적인 효율성을 보여 주었다.

성과

Trinity의 능력은 실험 데이터로 증명되었다. LiveCodeBench는 꽤 까다로운 코딩 벤치마크인데, 여기서 86.2%라는 점수를 기록했다. 이는 개별 모델들(GPT, Claude 등)의 성능을 훨씬 뛰어넘는 수치다.

또한, 새로운 유형의 수학 문제나 논리 퀴즈를 줘도 당황하지 않고 모델들을 잘 배치하여 정답을 찾아냈다.(Zero-shop transfer) 이는 단순히 정답을 외우는 것이 아니라 상호간 협력하는 방법 자체를 안다는 것을 의미한다.

효율성

기존의 AI 조율 방식들은 모든 모델을 동시에 가동하기에 비용이 많이 들거나, 정해진 순서로만 작동하는 한계가 존재했다. 반면 Trinity는 필요한 순간에만 모델을 호출하고, 검토자가 '정답'이라고 확신하면 작업을 멈춰 효율성을 극대화 한다.

거대 모델처럼 새롭게 학습시키는 방식이 아닌, 기존의 모델들을 잘 연결하기만 하면 되기에 최신 AI 모델이 나올때마다 Trinity의 능력도 함께 진화할 수 있다는 확장성을 지닌다.

마무리

Trinity의 연구는 AI의 능력은 단일 모델의 크기가 아니라, 서로 다른 강점을 가진 지능들을 얼마나 잘 연결하고 조율하느냐에 달려 있다는 의미를 지닌다.

단순히 기술적 모델을 넘어, 미래 AI 생태계가 나아갈 방향을 제시하고 있다고 생각한다. 혼자서 모든 것을 잘하는 전지전능한 천재 모델을 기다리기보다, 각자의 분야에서 뛰어난 전문가 AI들이 팀을 이루어 협업하는 시대를 언급한다.

Trinity가 얘기하는 '오케스트라'가 복잡한 문제들을 어떻게 해결해나갈지 기대된다.

Sources

• Trinity: An Evolved LLM Coordinator (arXiv:2512.04695v3)