EEBench 공개: AI 회로 설계 능력 평가, Claude Opus 5가 61.6%로 1위

AI 모델의 전자공학 설계 능력을 객관적으로 평가하기 위한 벤치마크 EEBench가 공개되었습니다. 이 벤치마크는 GUI 기반 CAD 도구가 아닌, 회로를 선언적 코드(declarative code)로 표현하는 atopile을 사용하여 에이전트가 부품, 연결, 전기적 제약 조건을 직접 다루도록 설계되었습니다.

평가 방식 및 특징

EEBench는 시뮬레이션과 디자인 체크를 통해 설계의 정확성을 검증합니다. 각 요구사항은 한계값이 있는 측정 항목을 생성하며, SPICE 시뮬레이션을 통해 전압 강하, 유효 커패시턴스, 과도 응답 등을 측정합니다. 특히 실제 제조사 부품을 사용하며, 부품의 공차(tolerance)와 비용, 공급 가능성 사이의 트레이드오프를 고려해야 합니다. 채점은 완전히 결정적(deterministic)이며, 회로가 작동해야만 비용 효율성이 점수에 반영됩니다.

주요 모델 성능 순위 (9월 1일 기준)

EEBench V1의 13개 태스크에 대한 주요 AI 모델의 성능은 다음과 같습니다.

• Claude Opus 5: 61.6% (1위)
• Grok 4.6: 57.1% (2위)
• Claude Fable 5.1: 56.4% (3위)
• Claude Fable 5: 54.3% (4위)
• Claude Opus 4.8 Max: 51.4% (5위)
• GPT-5.5: 42.3%
• GPT-5.6 Sol: 39.4%

xAI는 Grok 4.6 모델 카드에 EEBench를 포함시켰으며, Anthropic 모델들은 이 환경에서 일관되게 좋은 성능을 보였습니다. OpenAI의 GPT-6 Astra는 아직 EEBench 결과가 공개되지 않았으나, KiCad 데모를 통해 전자공학 분야에 대한 관심을 드러냈습니다.

시사점 및 한계

AI가 회로 보드를 설계할 수 있는가는 부분적으로 '예'입니다. 그러나 EEBench는 아직 레이아웃, 제조, 제품 브링업 능력은 평가하지 않으며, 복잡한 아날로그 설계나 최악의 공차 코너에서의 안정성 확보 등에는 여전히 과제가 남아 있습니다. 이 벤치마크는 AI 랩들이 전자공학을 진지하게 받아들이기 시작했음을 보여주는 초기 징후로 해석됩니다.