우버 이츠(Uber Eats)는 10,000개 이상의 도시에서 수백만 장의 음식 사진을 처리한다. 문제는 많은 식당의 메뉴 사진 품질이 낮다는 점이다. 어두운 조명, 낮은 해상도 등은 고객의 선택을 피해간다. 그렇다고 AI로 사진을 고치면, 고객이 '인위적인 AI 결과물'이라는 인상을 받고 오히려 신뢰를 잃을 수 있다.
우버 이츠는 이 문제를 해결하기 위해 전문화된 AI 에이전트들이 계층적으로 협력하는 '스위스 치즈 모델'을 만들었다.
시스템 구조
우버 이츠는 하나의 거대한 AI 모델로 모든 사진을 처리하는 대신, 역할이 다른 전문화된 에이전트를 층층히 쌓아 올렸다. (스위스 치즈첨럼 겹겹이 구성)
각 층이 하나의 실수를 막아주는 역할을 하며 구성은 다음과 같다.
1. 라우터 에이전트
- 사진을 '보정할지' vs '건너뛸지' 결정한다.
- 높은 재현율(high recall)을 목표로 최적화 한다. 즉, '이 사진은 고칠 필요 없다.'고 잘못 판단해서 저품질 사진을 통과시키지 않도록 하는 것이 핵심이다.
- 품질이 좋은 사진은 과하게 처리하지 않도록 조심한다.
2. 편집 에이전트 + 품질 관리 에이전트
- 보정 담당(편집 에이전트): 사진을 편집한다.
- 품질 관리 에이전트: 편집 결과를 평가하고, 필요하면 다시 편집하도록 지시한다.
- 편집/품질 관리 에이전트는 반복 루프로 동작하고, 여러번 반복해도 품질 기준이 충족되지 않으면 그 사진은 게시하지 않고 버린다.
3. 게시 준비 단계
- 마지막 안전 장치 단계이다. 서비스에 올리기 전에 정책 위반, 물리적 오류, 브랜드 일관성을 최종 확인한다.
에이전트들이 어떻게 협력하는가?
Pairwise Comparison
편집 전 원본과 편집 후 사진을 나란히 놓고 비교한다. 목표는 'AI가 원본에 없는 것을 잘못 추가했는지'를 잡아내는 것이다.
예:
- 원본에 없는 닭 날개 2개를 AI가 추가한 경우
- 디핑 소스를 AI가 지워버린 경우
자체 수정과 Pass 지표
- 품질 관리 에이전트가 Reject하면, 편집 에이전트에게 명확한 지침을 전달한다.
- 재시도 횟수는 K번으로 제한한다. Pass@K라는 지표로 'K번 시도 안에 통과했는지'를 측정한다.
- K번을 넘기면 실패로 처리하고 게시하지 않는다.
왜 중앙 집중식 로깅이 필수 인가?
모든 에이전트의 결과는 JSON로그로 남는다. 즉, 어떤 사진이 어떤 에이전트를 거쳐 어떻게 처리되었는지가 전부 기록된다.
이건 매우 중요하다. 그 이유는
- 엔지니어, 제품 매니저, 디자이너 등 누구나 정확한 문제 지점을 검사할 수 있다.
- 모든 세부 의사결정을 기록하지 않으면, 에이전트 파이프라인을 최적화하거나 자동 튜닝할 수 없다. (우버 이츠가 강조하는 핵심 교훈)
핵심: Self-Tuning Loop
예외적인 상황이 발생해서 실패할 경우, 사람이 직접 코드를 수정하지 않고, AI가 스스로 고친다.
- 오류 원인 파악 (진단 에이전트): 운영 로그와 사용자 피드백을 검토해서 어던 에이전트가 오류를 일으켰는지 정확히 찾아낸다.
- 반영 (프롬프트 최적화 에이전트): 소형 하위 에이전트가 오류 패턴을 분석하고 프롬프트 구성을 자동으로 다시 작성한다.
- 벤치마크: 새로운 프롬프트를 사람이 직접 라벨링한 '골든 데이터셋(정답지)'으로 테스트한다.
- 자동 배포: 테스트를 통과하면 자동으로 프로덕션에 배포한다.
즉, 실패 -> 원인 분석 -> 자동 수정 -> 검증 -> 배포가 사람 개입 없이 순환하는 구조다. 시장의 변화에 지속적으로 적응한다.
평가 지표와 교훈
- 라우터 평가: 혼동 행렬(Confusion matrix)로 정밀도/재현율을 라벨과 비교한다. 사람이 작성한 라벨링 'Golden Source of Truth'이다.
- 편집 평가: 신뢰성, 완전성, 자연스러움, 사실성을 기준으로 비교한다.
- Reward Hacking에 대한 경계: AI가 지표만 높이려고 실제로는 좋지 않은 편집을 하는 것을 주의한다.
우버 이츠는 이 에이전트 시스템을 구축하여 매달 수백만 개의 신규 메뉴 아이템이 추가 되는 시장에 대응하고 있다.
고객이 AI 생성 콘텐츠를 신뢰하지 않는 상황에서, '개선하되 원본을 지키고 인위적으로 보이지 않게'하는 균형을 핵심으로 삼았다.
Self-tuning + 게시 전 검증으로 사람이 하나하나 확인하지 않아도 안전하게 품질을 유지하게 만들었다.
Sources:
0 Comments:
댓글 쓰기