#deduplication

#deduplication와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

LLM 컨텍스트 내 중복 데이터를 제거해 유효 토큰 용량을 늘리는 도구가 공개되었다.

·1·2026.05.13 23시

Pinterest는 MIQPS로 URL 정규화를 정교하게 처리해 콘텐츠 중복 제거 정확도를 높였다.

·1·2026.04.21 01시

Hugging Face가 바이트 단위 중복 제거를 지원하는 Xet 스토리지를 도입해 대규모 파일 전송 효율을 높였다.

·1·2025.03.18 09시

Hugging Face가 블록 기반 데이터 관리 방식을 도입해 모델 및 데이터셋 전송 속도를 개선했다.

·1·2025.02.12 09시

Hugging Face가 대규모 데이터셋 효율성을 위해 Parquet 파일의 중복 제거 문제를 분석하고 개선 방안을 제시했다.

·1·2024.10.05 09시

LLM 학습 데이터의 품질을 높이기 위한 대규모 근접 중복 제거 기술과 그 중요성을 설명한다.

·1·2023.05.16 09시