OpenMythos: Claude Mythos를 역설계한 오픈소스 구현 공개

OpenMythos는 Anthropic의 차세대 모델로 거론되는 Claude Mythos의 구조를 공개 정보와 연구 아이디어를 바탕으로 재현해 보려는 오픈소스 프로젝트다.

실제 모델을 복제한 것은 아니고, “이런 방식으로 동작할 가능성”을 코드로 구현한 가설적 구현체에 가깝다.

핵심 아이디어는 모델을 더 크게 만드는 대신, 같은 Transformer 블록을 여러 번 반복 실행해 내부 상태를 점진적으로 업데이트하는 방식이다.

• 동일한 블록을 반복 호출해 더 깊은 추론을 유도
• 반복 과정에서 **MoE(expert)**를 선택적으로 활성화
• 중간 결과를 외부 토큰으로 바로 내보내지 않고 내부 상태에서 처리
• 메모리 효율을 개선하려는 attention 구조를 적용

이 접근은 일반적인 LLM처럼 토큰을 생성하면서 추론을 드러내는 방식보다, 내부에서 충분히 계산한 뒤 최종 결과만 출력하는 형태에 가깝다. 즉, “말하면서 생각”하기보다 “속으로 반복 계산한 뒤 말하는” 구조를 지향한다.

의미 있는 포인트는 성능 향상의 축이 파라미터 수 증가가 아니라 추론 단계의 반복 계산량에 있다는 점이다. 또한 외부로 생성되는 토큰 수를 줄일 수 있어, 토큰 비용 문제와도 연결된다.

다만 실제 Claude Mythos의 구조와 동일하다고 확인된 것은 아니며, 검증된 대규모 실험 결과나 성능 증거는 아직 부족하다.