OpenAI, 일상 과제 수행력 측정하는 LifeVal 벤치마크 공개

OpenAI가 학문적 지식보다 일상적 실무 과제 수행 능력을 측정하는 평가 프레임워크 LifeVal을 개발함. 이를 통해 ChatGPT를 에이전틱 개인 비서로 전환하는 것이 목표임.
미국 시간 사용 조사(American Time Use Survey), 다국적 시간 사용 연구(Multinational Time Use Study), 그리고 3,995명의 응답자를 대상으로 한 인구통계학적으로 대표성 있는 신규 조사를 통해 사람들이 AI 도움을 가장 가치 있게 여기는 영역을 파악하여 벤치마크 과제를 선정함.
현재 모델들은 LifeVal의 특정 과제에서 높은 성능을 보임. 유치원 입학 절차 93.1%, 자원봉사 관리 98.0%, 주거지 탐색 100%, 원격 시청 설정 96.3%, 식사 계획 90.4%의 점수를 기록함.
이 이니셔티브는 브라우저 사용, 컴퓨터 사용, 커넥터 기능을 활성화하여 사용자가 돌봄, 건강, 개인 재정 등 분야에서 의사결정을 내리고 책임을 관리하며 의미 있는 행동을 완료하도록 돕는 데 초점을 맞춤.

핵심 내용