43B 토큰 공개

Datamule, Teraflop AI, Eventual이 SEC-EDGAR 데이터셋을 Hugging Face에 공개했다.

규모는 590GB, 800만 샘플, 430억 토큰으로, SEC EDGAR의 주요 공시를 폭넓게 담고 있다. 10-Q, 10-K 등 기업 공시 문서를 대상으로 하며, 일부 유료 비공식 API가 월 수백 달러를 받는 데이터에 대해 무료·오픈 접근을 제공하는 점이 핵심이다.

수집은 datamule-python과 공식 datamule API로 진행됐다. 작성자는 EDGAR의 초당 10회 요청 제한과 네트워크 오버헤드 때문에 800만 건급 대량 크롤링에는 10일 이상이 걸린다고 설명하며, 대규모 수집·처리용 오픈소스 도구의 필요성을 강조한다.

• 배포 위치: Hugging Face의 TeraflopAI/SEC-EDGAR
• 데이터 출처: SEC의 EDGAR 공시 데이터베이스
• 포인트: 고가의 상용 접근 대신 무료 공개 데이터 제공