AI에 강한 기술 평가 설계

Anthropic의 성능 최적화 팀은 지원자의 실력을 가려내기 위해 가상 accelerator에서 코드를 최적화하는 take-home test를 운영해 왔다. 1,000명 이상이 응시했고, 이 과제는 여러 명의 성능 엔지니어 채용에 실제로 기여했다.

초기 버전은 4시간짜리 과제로 시작해, 이후 2시간으로 줄였다. 문제는 병렬 트리 순회였고, 지원자는 scratchpad 메모리 관리, VLIW, SIMD, multicore 같은 accelerator 특성을 활용해 점점 더 높은 성능을 끌어내야 했다. Perfetto trace로 실행 과정을 보여 주는 방식도 포함됐다.

하지만 모델 성능이 올라가면서 평가 신호가 무너졌다. Claude Opus 4는 4시간 제한 안에서 대부분의 인간 지원자보다 나은 결과를 냈고, Claude Opus 4.5는 심지어 상위 인간 지원자 수준까지 도달했다. 인간이 무제한 시간에서는 더 잘할 수 있어도, 제한된 시간의 take-home에서는 더 이상 사람과 모델을 구분하기 어려워졌다.

이에 따라 과제는 여러 차례 재설계됐다. 첫 번째 수정은 Claude Opus 4가 시작점으로 삼기 어려운 지점까지 문제를 확장하는 것이었고, 그 과정에서 multicore는 제거하고 더 깊은 최적화 공간을 추가했다. 동시에 일정 부담을 줄이기 위해 시간 제한도 2시간으로 단축했다.

그 뒤에도 Claude Opus 4.5는 새 버전까지 돌파했다. 처음에는 일반적인 micro-optimization을 적용해 통과 기준을 넘겼고, 메모리 bandwidth 병목에 막혔다고 판단했지만, 추가 힌트를 주자 문제 구조를 이용한 트릭을 찾아냈다. 이후 디버깅과 튜닝까지 이어가며, 2시간 안에 인간 최고 성능과 같은 수준에 도달했다.

다음 시도는 더 어려운 optimization 문제였지만, 이번에는 데이터 transposition과 bank conflicts 같은 영역에서 Claude가 이미 많은 경험을 갖고 있었다. 결국 모델은 전체 계산 구조를 바꾸는 더 나은 접근까지 찾아냈고, 이 문제도 AI 저항성을 충분히 확보하지 못했다.

마지막으로 저자는 더 낯선 문제를 찾기 위해 Zachtronics류의 제약형 프로그래밍 퍼즐을 떠올린다. 목표는 인간의 추론이 Claude의 학습 경험보다 유리한 영역을 찾는 것이지만, 동시에 실제 업무와 닮아 있어야 한다는 제약도 남아 있다. 결국 핵심은, AI가 있어도 사람의 역량을 드러낼 수 있는 평가를 어떻게 설계할 것인가에 있다.