Opus 5.5, Elixir·OCaml·Erlang 벤치마크서 선방

We tested Opus 5.5 on real tasks in Elixir, OCaml, Kotlin, Swift and 9 other languages that benchmarks rarely cover

·2026.11.10 23:18

핵심 내용

Opus 5.5가 함수형 언어 벤치마크에서 성능 저하 없이 선방했다

Elixir, OCaml, Erlang, Clojure, Kotlin, Swift 등 13개 언어의 실제 이슈와 PR에서 추출한 202개 태스크를 평가하는 벤치마크임
Elixir, OCaml, Erlang 등 함수형 언어에서 폐쇄형과 오픈웨이트 모델 간 격차가 더 큼. Opus 5.5는 성능 저하가 없으나 DeepSeek, GLM, Qwen은 더 뒤처짐
각 태스크마다 전용 Docker 이미지를 사용하고 공정성을 위해 모델당 3회 실행함
전체 리더보드, 논문, 모델 트래젝토리는 longtail-swe.com, Hugging Face, Harbor에서 확인 가능함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.