AI 기업 임베디드 평가 확산 속 독립성 확보 난항

AI 산업이 수조 달러 규모로 성장하면서 METR, Apollo Research, Vals AI 등 독립 평가기관이 핵심 감시자로 부상했다. 연방 규제 부재 속에서 Anthropic, OpenAI, Google, Meta, SpaceX, Nvidia 등 주요 기업들은 9월 외부 감사 협력을 골자로 한 '도덕적 구속력' 있는 합의에 서명했다.

Anthropic과 OpenAI는 '임베디드(embedded)' 평가 방식으로 전환을 주도하고 있다. Anthropic은 Accenture AI 부문 인력을 내부에 배치해 안전 가드레일을 테스트할 계획이며, 비용은 Anthropic이 직접 부담한다. OpenAI는 METR, Redwood Research 등 독립 안전 기관과 계약을 마무리 중이다. 다만 OpenAI는 최근 제3자 평가기관과 소통한 혐의로 직원 3명을 해고했으며, 이는 안전 내부고발과 무관하다고 해명했다.

자금 및 구조적 갈등

평가기관의 재정 지속성과 독립성 문제는 여전히 논쟁적이다. 비영리 단체인 METR는 지난 6개월간 약 7100만 달러의 자금 지원 약속을 확보했으며, 이는 2024년 총 기부금 1360만 달러에서 급증한 수치다. 영리 벤치마킹 스타트업 Vals AI는 8월 4000만 달러를 조달해 팀 규모를 8명에서 약 30명으로 늘렸다.

전문가들은 피평가 기업으로부터의 직접적 자금 지원이 구조적 이해충돌을 야기한다고 경고한다. 브라운 대학교 교수 Suresh Venkatasubramanian은 감사인이 불리한 보고서를 낼 경우 비즈니스 압력에 직면할 수 있다고 지적했다. Wharton Accountable AI Lab의 Kevin Werbach는 METR의 정규직 직원이 50명 미만인 점을 들어 생태계가 아직 취약하다고 분석했다.

규제 및 입법 동향

독립 검증의 제도화를 위한 입법 움직임도 나타나고 있다. 7월 Lori Trahan 하원의원과 Jay Obernolte 하원의원이 발의한 FRONTIER Act에는 독립 검증 기관(IVO) 관련 조항이 포함됐다. Fathom은 지난해 6월 IVO 마켓플레이스 프레임워크를 출시했으며, 캘리포니아 주지사 Gavin Newsom은 9월 주 차원의 첫 IVO 프레임워크와 감사인 등록제를 서명했다.

METR과 AVERI가 포함된 AI Evaluator Forum은 9월 '평가기관 임베딩을 위한 최소 조건' 서한을 발표했다. 해당 서한은 임베디드 평가기관이 고위급 직원과 동등한 접근 권한을 보장받고 보복으로부터 보호받아야 한다고 요구한다. 또한 임베디드 평가는 외부 감독을 대체하는 것이 아니라 보완하는 역할임을 명시했다.