Databricks-HF, Spark 연동 기능 출시

Databricks와 Hugging Face가 Apache Spark™ 데이터프레임을 Hugging Face 데이터셋으로 즉시 변환할 수 있는 Dataset.from_spark 함수를 출시했다.

기존에는 Spark 데이터프레임을 Hugging Face 데이터셋으로 사용하기 위해 데이터를 Parquet 파일로 저장한 뒤 다시 불러와야 했다. 이 과정에서 불필요한 디스크 I/O와 데이터 재구성으로 인해 리소스와 시간이 낭비되는 문제가 있었다.

새로운 기능을 통한 주요 개선 사항은 다음과 같다:

• 처리 속도 향상: 16GB 데이터셋 기준, 기존 22분에서 12분으로 단축되어 약 40% 이상의 성능 개선을 보였다.
• 효율적인 파이프라인: Spark의 대규모 데이터 처리 능력과 Hugging Face의 메모리 매핑 및 스마트 캐싱 최적화를 결합하여 비용과 시간을 절감한다.
• 워크플로우 단순화: 데이터 변환부터 모델 학습 및 미세 조정(Fine-tuning)까지의 과정을 간결하게 통합한다.