다 끝냈다고 보고가 와서 열어 봤는데, 부탁한 것 중 하나가 통째로 빠져 있던 적 있으실 거예요.

그 일이 얼마나 흔한지, 그리고 AI 코딩 에이전트가 실패할 때 어떤 방식으로 실패하는지를 숫자로 잰 자료가 나왔습니다.

실제 회사들에서 빌려 온 비공개 운영 코드로 프런티어 모델 여덟 개를 640번 돌렸더니 468번이 실패했어요. 그 실패를 다섯 가지로 갈라 보니 가장 많은 것이 요구사항 누락이었습니다. 468건 중 190건, 41%였어요.

측정한 곳은 Specific Labs라는 샌프란시스코 스타트업이고, 여기에 Real-SWE라는 이름을