LLM 라우팅, 요청에 적합한 모델 선택하기

요즘 팀에서는 Token 비용에 대한 관심이 많다. '토큰 이코노미'에 대해서 대부분 비슷할꺼라 생각된다. 단일 모델(예산 범위내에서 가장 좋은 모델)로 제품을 만들고, 다른 사용 사례에도 확장하는 형태로 대부분 사용한다. 이유는 간단하...

Read more