Scaffold CoT 데이터셋 공개

5B 파라미터 이하의 소형 언어 모델에서 자유형 Chain-of-Thought(CoT)가 오히려 응답의 정확도와 구조를 해친다는 문제점을 해결하기 위해 Scaffold CoT 데이터셋이 공개됐다. 이 데이터셋은 약 400만 건의 예제와 30억 토큰 규모로 구성되어 있으며, 소형 모델이 더 간결하고 신뢰성 있게 사고하도록 설계됐다.

구조화된 사고 프레임워크 적용 모든 예제는 예외 없이 Interaction, Execution, Answer의 세 단계로 구성된 고정된 스캐폴드(Scaffold) 구조를 따른다. 형식이 일정하게 유지됨으로써 모델은 사고 방식 자체를 결정하는 데 리소스를 낭비하지 않고, 실제 추론과 답변 생성에 집중할 수 있게 된다.

학습 효율성 및 검증 가능성 향상 각 예제의 길이는 최대 2048 토큰으로 제한되어 소비자용 하드웨어에서도 학습이 용이하다. 또한, 다양한 주제와 하위 도메인 메타데이터를 포함해 특정 작업에 대한 전문화 학습이 가능하며, 고정된 형식 덕분에 정규식(Regex)을 통해 모델 출력의 구조적 오류를 기계적으로 검증할 수 있다는 장점이 있다.