Genebench-Pro 내부 살펴보기

OpenAI가 생물학적 데이터 분석 능력을 평가하는 벤치마크인 Genebench-Pro의 사례 연구를 공개했다.

OpenAI는 Genebench-Pro 벤치마크의 구체적인 질문 구성과 지원 자료를 담은 상세 내용을 공개했습니다. 이 벤치마크는 모델이 복잡한 생물학적 데이터를 얼마나 정확하게 분석하고 추론할 수 있는지를 평가합니다.

공개된 사례 연구에는 다음과 같은 고난도 과제들이 포함되어 있습니다.

체세포 종양학(Somatic oncology): 구조적 변이(SV)를 기반으로 한 종양 치료의 이득과 위험(Benefit-risk)을 결정하는 과제
기능 유전학(Functional genomics): CRISPR 타겟 검증을 통해 lncRNA 의존성이 전사체 특이적인지 또는 인접 유전자 효과에 의한 것인지 판별하는 과제

각 사례 연구는 원본 프롬프트, 데이터셋, 그리고 모델이 수행해야 할 분석적 추론 과정을 상세히 보여줍니다. 특히 단순한 수치 계산을 넘어, **분석적 추론(Analytical reasoning)**의 품질을 평가하는 데 중점을 두고 있습니다.