Show HN: Pulpie – 웹 콘텐츠 정제(Cleaning)를 위한 모델

웹 페이지의 HTML 구조에서 광고, 내비게이션 등 불필요한 요소를 제거하고 본문만 추출하는 Pareto-optimal 모델 제품군인 Pulpie가 출시되었습니다.

기존의 SOTA 모델인 Dripper와 비교했을 때, Pulpie는 다음과 같은 기술적 우위를 점합니다.

• 높은 효율성: Dripper보다 3배 작은 210M 파라미터 규모임에도 불구하고, WebMainBench에서 대등한 수준의 성능을 기록했습니다.
• 압도적인 속도: Encoder 아키텍처를 사용하여 단 한 번의 Forward pass로 모든 블록을 라벨링하므로, NVIDIA L4 GPU 기준 초당 13.7페이지를 처리합니다 (Dripper 대비 약 20배 빠름).
• 획기적인 비용 절감: 10억 페이지를 정제할 때 드는 비용이 Dripper($159,000) 대비 $7,900 수준으로 약 20배 저렴합니다.

정제된 데이터는 LLM의 Pre-training 단계에서 모델 정확도를 높이고, Inference 단계에서 컨텍스트 노이즈를 줄여 모델의 효율성을 극대화하는 데 핵심적인 역할을 합니다. Pulpie 모델은 Hugging Face를 통해 오픈 소스로 공개되었습니다.