Gemini 4 Carbon, 불필요한 작업과 느린 추론으로 버그 수정에 1시간 소요
·2026.11.20 08:38
핵심 내용
Gemini 4 Carbon은 불필요한 작업과 느린 추론으로 버그 수정에 1시간이 소요된다
자세히 보기
- Gemini 4 Carbon은 Opus와 Astra가 몇 분 만에 해결하는 버그 수정 작업에 최대 1시간 가까이 소요됨. Carbon의 고강도 실행은 평균 215단계인 반면 Astra는 19단계로 확인됨.
- Carbon의 단계 중 약 50%는 작업 티켓에서 요구하지 않은 작업에 사용됨. 구체적으로 버그 범위를 벗어난 코드 감사(70단계)와 티켓에서 이미 배제된 취약점 차단(47단계)에 낭비됨.
- 느린 추론은 Astra 대비 16~30%, Opus 대비 45~49%의 시간 차이를 차지함. 39%의 코드 라인 재독과 단계당 도구 호출 횟수 감소와 같은 기계적 비효율은 초과 실행 시간의 약 25%를 차지함.
- 5턴마다 체크인 프롬프트를 주입하면 Carbon의 실행 시간이 37분에서 28분으로 단축됨. 이는 느린 속도가 지식이 부족해서가 아니라 언제 멈출지 모르는 행동 습관에서 비롯됨을 시사함.
Performance Metrics
- 고강도 설정에서 Carbon은 버그당 24.7M 입력 토큰을 처리하고 152k 출력 토큰을 생성함. 이는 Astra의 최대 강도 설정인 1.5M 입력 및 20k 출력과 대비됨.
- 중/고강도 설정에서 Carbon은 단계당 23~24초를 소요함. 반면 Astra는 12~18초, Opus는 6~15초를 기록함.
- Carbon은 6분 이내에 버그 원인을 식별하지만 첫 코드 수정까지 25분을 대기함. 주기적인 체크인이 적용되면 이 지연은 10분으로 줄어듦.
Methodology and Scope
- 분석은 에이전트가 증상 보고만 바탕으로 코드베이스의 버그를 진단하고 수정하는 비공개 평가를 사용함. 증상을 올바른 코드 경로로 추적하는 엔지니어링 판단이 필요함.
- 테스트는 opencode, mini-SWE-agent 등 다양한 하네스에서 수행되었으나 성능에 유의미한 차이가 없어 하네스 특정 문제임을 배제함.
- Carbon의 저강도 설정은 종종 수정을 생성하지 못해 코드를 변경 없이 반복적으로 재독하는 순환적 행동을 보임.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.