GPT-6 Astra, BioBasicsBench 웨트랩 분석에서 66.7%로…

Ligo와 공동 개발한 BioBasicsBench는 AI 에이전트의 원시 실험 데이터 해석, 오류 식별, 증거 부족 인식 능력을 측정하기 위한 100개 루틴 웨트랩(wet-lab) 태스크로 구성됨
GPT-6 Astra는 'xhigh' 추론 설정에서 평균 보상 66.7%를 기록해 GPT-5.6 Sol의 43.8%를 크게 상회했으나, 이미지 해석 및 대조군 확인 영역에서는 여전히 격차가 존재함
단백질 방법론, 영상 및 세포측정, 정량 및 분석, 핵산 방법론, 분자 클로닝 등 5개 영역을 커버하며 젤 이미지, 현미경 스택, 기기 내보내기 데이터 등 원시 입력을 활용함
GPT-6 Astra는 Z-스택 인식 및 잘못된 라벨의 대조군 거부 등 멀티모달 처리 및 컨텍스트 유지 능력이 향상되었으나, 데이터 과해석, 모순된 관찰 무시, 콜로니 정확한 계수에서는 여전히 취약함
과학자가 태스크를 제작하고 내외부 전문가가 검토한 7개 모델, 37개 추론 노력 설정에 걸친 총 18,500개 결과로 평가 진행됨

GPT-6 Astra, BioBasicsBench 웨트랩 분석에서 66.7%로 GPT-5.6 Sol 상회