AI 에이전트 CAD 벤치마크: CadQuery의 명시적 실패 vs OpenSCAD의 조용한 실패

ModelRift는 Claude Opus 5와 Claude Code를 활용해 CadQuery와 OpenSCAD의 무인 CAD 부품 생성 성능을 비교하는 벤치마크를 진행했다. 두 도구는 최종적으로 인쇄 가능한(watertight) 부품을 생성하는 능력에서는 차이가 없었으나, 실패 모드와 검증 가능성에서 명확한 대조를 보였다.

CadQuery는 예외를 발생시켜 조기에 명시적으로 실패하지만, boolean 연산 시 유효성 검사가 불완전할 수 있다. 반면 OpenSCAD는 오류나 경고 없이 잘못된 기하학적 구조를 'clean'으로 인증하는 조용한 실패 경향이 있어 무인 환경에서 더 치명적이다. 실제로 OpenSCAD의 Manifold backend는 non-manifold edge가 있는 STL에도 NoError를 반환한 사례가 있었다. 두 도구 모두 자체 보고는 신뢰할 수 없으므로 mesh 직접 파싱을 통한 독립적 검증이 필수적이다.

성능 측면에서 OpenSCAD의 geometry recompute 속도는 CadQuery보다 30~100배 빠르지만(16 ms vs 1.9 s), 이는 모델 추론 시간 대비 미미한 수준이다. 총 실행 시간과 토큰 사용량 모두 OpenSCAD가 더 효율적이었으며(OpenSCAD 2061s/297k tokens vs CadQuery 2406s/347k tokens), 코드도 더 간결했다. CadQuery는 B-rep 기반이라 파라미터 검증이 용이한 반면, OpenSCAD는 CSG 후 triangle soup 형태라 외곽선 인식이 어렵다.

최종적으로 ModelRift는 WASM 샌드박싱, 리빌드 속도, 다색 3MF 내보내기 등 구조적 이점을 고려해 OpenSCAD를 유지하기로 결정했다. 단, 시각적 피드백의 한계를 보완하기 위해 벽 두께, 간격, 간섭 부피 등을 확인하는 수치 기반 검증(Numeric Check) 프로세스를 강제 도입했다.