GPT-5.6 Luna, GPT-6 Astra 대비 비용 3.6%로 검증 버그 75% 발견…정밀도는 낮아

Entelligence의 Aditya Jha가 공개한 벤치마크에 따르면, GPT-5.6 Luna는 GPT-6 Astra 대비 검증된 버그의 75%를 발견하는 데 비용의 3.6%만 사용했다. 50개 PR 기준 Luna의 총 비용은 0.20달러, Astra는 5.66달러였으며, 건당 비용은 Luna 0.0041달러, Astra 0.113달러로 약 28배 차이가 났다. 검증된 버그당 비용은 Luna 0.0030달러, Astra 0.061달러로 집계되었다.

정밀도 측면에서는 Luna 74%, Astra 96%로 Luna의 오류율이 더 높았다. 특히 보안 취약점 탐지에서 Luna는 24개 중 9개만 발견한 반면 Astra는 19개를 발견해 큰 격차를 보였다. Keycloak 저장소에서는 Luna의 정밀도가 50%까지 하락했다. 재현성 테스트에서는 Luna가 47%, Astra가 67%의 재현율을 보였다. 전체적으로 Luna는 일반 로직 버그에는 적합하지만 보안 및 복잡한 권한 모델이 관련된 코드 리뷰에는 부적합한 것으로 평가되었다.