Uber에서는 이제 AI가 실험 도구를 넘어 소프트웨어 생산 기반으로 움직이고 있어요. 전체 풀 리퀘스트의 70% 이상이 로컬 또는 클라우드 에이전트의 작업으로 집계됩니다.

엔지니어들이 만든 에이전트 스킬은 3,600개를 넘었고, 하루 실행 횟수도 3만 건 이상이에요. 그런데 사용량이 이만큼 늘면 새로운 문제가 생깁니다. AI가 만들어 내는 가치만큼 비용도 빠르게 커질 수 있거든요.

Uber가 공개한 해법은 단순히 저렴한 모델로 바꾸는 것이 아니었어요. AI가 작업을 완료하기까지 어디에서 토큰과 요청이 낭비되는지 잘게 나눠 관리했습니다.