Open-Weight LLM, 정확도에서 따라잡다

정확도가 핵심인 규제 생명과학 업무에서 Open-Weight LLM이 폐쇄형 프런티어 모델을 따라잡았다는 평가가 나왔다. 문헌의 시판 후 안전성 검토, 임상 문서의 구조화 데이터 추출과 규제 제출물 작성, 임상시험 데이터 기반 TLF 생성 등 세 가지 작업을 평가하는 ClinReg 벤치마크를 통해 양쪽 모델을 비교했다.

생명과학 분야의 기존 벤치마킹은 CASP, LAB-Bench, BixBench처럼 신약 discovery와 전임상 단계에 집중됐다. 그러나 제약 R&D 비용과 기간의 대부분은 임상시험과 규제 업무에 투입되며, 이 영역에서는 누락된 논문이나 잘못 추출된 값이 규제 제출물에 연쇄적으로 영향을 줄 수 있다.

ClinReg 평가 결과, 세 작업 모두에서 Open-Weight 모델의 정확도가 폐쇄형 모델의 성능 변동 범위 안에 들어왔다. 동시에 Open-Weight 모델은 최고 수준의 폐쇄형 모델보다 약 3배 낮은 비용으로 실행되는 것으로 제시돼, 고위험 규제 업무에서 정확도와 비용 효율을 함께 확보할 가능성을 보여줬다.