한국 스타트업, 데이터까지 공개한 Aether-7B 출시

국내 AI 스타트업이 가중치뿐만 아니라 학습 데이터 레시피, 아키텍처 소스, 학습 로그 등을 모두 Apache-2.0 라이선스로 공개한 Aether-7B-5Attn을 허깅페이스에 공개했습니다. 이는 단순한 오픈 웨이트(Open-weight) 모델을 넘어, 제3자가 동일한 학습 바이너리를 재현할 수 있는 수준의 완전한 오픈소스 모델입니다.

이 모델의 핵심 기술적 특징은 다음과 같습니다:

• 가변적 어텐션 메커니즘: 모든 계층에 동일한 어텐션을 사용하는 관습에서 벗어나, 계층별 역할에 따라 **5가지 서로 다른 어텐션(Full, Sliding, Differential, NSA, Hybrid)**을 배치했습니다.
• 효율적인 연산 설계: 각 메커니즘의 비용 프로파일을 실측하여 공개했으며, 예를 들어 Sliding Attention은 32K 컨텍스트에서 Full Attention 대비 약 1.8배 빠른 속도를 보여줍니다.
• 재현 가능성 확보: 데이터 소스, 토크나이저, 혼합 가중치, 162,000스텝의 전체 학습 로그를 포함하여 모델의 투명성을 극대화했습니다.

이번 공개는 대규모 인프라를 가진 국가 연구기관이 아닌, 단일 스타트업이 B200 16장을 활용해 달성한 성과라는 점에서 의미가 큽니다.