OpenAI, 의약화학 추론 평가 벤치마크 MedChemBench 공개
·2026.11.20 09:00
핵심 내용
OpenAI MedChemBench에서 GPT-6.2 Astra가 84.5% 점수를 기록하며 약물 발견 추론 능력을 입증했다.
자세히 보기
- OpenAI가 117개의 논문과 특허에서 추출한 99개 문제로 구성된 MedChemBench를 공개하여 AI 모델의 의약화학 추론 능력을 평가함
- GPT-6.2 Astra는 xhigh 추론 설정에서 가용 점수의 84.5%를 획득하여 GPT-6 Astra(83.3%), GPT-6.1 Sol(82.0%), GPT-5.6 Sol(58.2%)를 능가함
- 모델들은 분자 구조 재구성(95.4% credit)과 과학적 근거 설명에서 높은 성능을 보였으나, 화합물 선택과 수치적 물성 예측에서는 가용 점수의 약 절반만 획득함
- 벤치마크는 분자 구조, 과학적 추론, 랭킹 및 선택, 물성 예측의 네 가지 요소를 측정하며 측정값과의 근접도에 기반한 부분 점수를 적용함
- 공개된 소스에 대한 모델의 사전 노출 가능성과 도구나 피드백 없이 단일 시도만 수행한다는 점으로 인해 실제 약물 발견 능력을 확인하지는 못함
Benchmark Structure
- 117개의 논문과 특허에서 유래한 99개 문제와 761개의 고유 분자 구조를 포함함
- 실험 증거와 분자 구조를 연결하여 결과를 설명하고, 화합물을 비교하며, 물성을 예측하는 작업을 요구함
- 질병 관련 단백질에 대한 강한 활성과 흡수 및 대사 안정성 사이의 트레이드오프를 처리하는 능력을 평가함
Model Performance Details
- GPT-6 Astra는 xhigh 설정에서 10회 응답 모두에서 18원자 고리를 정확히 재구성한 반면, GPT-5.6 Sol과 GPT-5.6 Luna는 10회 모두 실패함
- GPT-6 Astra는 max effort에서 83.8%를 기록했으며, 평가된 11개 GPT 모델 전반적으로 더 높은 추론 설정이 점수 향상에 기여함
- 작업 유형에 따라 성능 차이가 크며, 구조 재구성이 가장 강점인 반면 물성 예측은 여전히 주요 과제로 남아 있음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.