LifeSciBench 소개

기존의 생명과학 AI 평가는 단순한 사실 회상이나 정형화된 문제 풀이에 치중되어 있어, 실제 연구 현장의 복잡성을 반영하지 못하는 한계가 있었다. 연구자들은 불완전한 증거를 해석하고, 상충하는 결과를 조정하며, 실험을 설계하고 불확실성 속에서 의사결정을 내려야 하기 때문이다.

LifeSciBench는 이러한 간극을 메우기 위해 설계되었으며, 바이오 및 제약 분야에서 신약 개발 경험이 있는 Ph.D.급 전문가 173명이 직접 작성하고 검토한 750개의 태스크를 포함한다. 이 벤치마크는 단순 지식 답변을 넘어 증거 처리, 분석, 설계 및 최적화, 과학적 추론, 검증 및 운영, 번역, 과학적 커뮤니케이션 등 7가지 워크플로우를 측정한다.

데이터셋의 특징은 다음과 같다:

• 복합적 추론: 전체 태스크의 79%가 평균 4단계의 다단계 추론 또는 의사결정 과정을 요구한다.
• 다양한 데이터 소스: 1,062개의 Artifact(도표, PDF, 표, 서열 파일, 화학 구조 파일, 웹 참조 등)가 포함되어 있으며, 태스크의 53%가 이러한 자료를 해석하거나 합성해야 한다.
• 엄격한 검증: 모든 태스크는 전문가 리뷰를 거치며, 리뷰어 간 90% 이상의 일치도를 보이는 강력한 전문가 합의를 바탕으로 과학적 근거를 확보했다.

평가는 상세한 Rubric(평가 기준)을 통해 이루어진다. 총 19,020개의 세부 기준을 바탕으로 모델이 과학적 주장, 계산, 결정, 정당화 등을 전문가 수준으로 수행할 수 있는지 정밀하게 측정한다.