HuggingFace, Jupyter Agent 개발

HuggingFace는 LLM이 데이터 분석 및 데이터 과학 작업을 수행할 수 있도록 Jupyter Notebook 환경에서 직접 코드를 실행하는 Jupyter Agent를 구축했다. 이는 모델이 코드와 마크다운 셀을 활용해 다단계 추론을 수행하도록 돕는다.

프로젝트의 주요 목표는 대형 모델에 비해 성능이 낮은 **소형 모델(Small Models)**을 강화하는 것이다. 이를 위해 고품질 학습 데이터를 생성하고, 모델을 파인튜닝하여 관련 벤치마크 성능을 높이는 파이프라인 구축에 집중하고 있다.

성능 향상을 위한 핵심 전략은 다음과 같다:

• DABStep 벤치마크를 통한 현실적인 데이터 과학 작업 평가
• 스캐폴딩(Scaffolding) 최적화: 기존의 복잡한 프레임워크를 단순화하여 모델의 행동을 효과적으로 제어
• Qwen3-4B와 같은 소형 모델을 대상으로 한 파인튜닝 실험

실제로 스캐폴딩을 단순화하여 재구조화한 결과, Qwen3-4B 모델의 쉬운 작업(Easy tasks) 정확도가 44.4%에서 59.7%로 크게 향상되었다.