Apple Research, 블랙박스 모델 평가 가능성 이론 정식화

·2026.11.10 09:00

핵심 내용

Apple Research, 블랙박스 모델 평가 가능 조건을 작은 지원 분포로 규명했다

자세히 보기

  • 테스트 세트가 학습에서 배제되었다는 가정을 두지 않고 기계학습 모델의 평가 가능성(evaluability) 개념을 형식화함. 이는 대규모 파운데이션 모델 평가 시 발생하는 문제를 해결하기 위함임.
  • 정확한 블랙박스 평가가 가능한 분포의 범위를 완전히 특징짓고, 해당 분포가 작은 지원(small support)에 가까울 때만 평가가 가능함을 입증함.
  • 평가자가 테스트 세트에서 모델 출력만 관찰하는 자연스러운 설정에서 평가의 샘플 복잡성에 대한 엄밀한 상한과 하한을 확립함.
  • 모델에 대한 소량의 쿼리 접근이 자연스러운 분포와 개념 클래스에서 평가자의 능력을 향상시킬 수 있음을 보여주며, 이를 프로그램 테스트의 셀프-코렉터(self-corrector)와 연결함.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.