모델의 작동 방식 과적합의 비용

OpenAI가 fine-tuning을 줄여 가는 흐름은 주목할 만하다. 대형 모델이 점점 더 많은 일을 스스로 해결할수록 가중치 조정의 필요는 줄지만, 빅 랩들이 소수의 활용처에 맞춰 harness 설계를 모델 안에 심어 넣는 경향도 강해지고 있다.

실제로 OSS Pi harness에서 Mario Zechner는 GPT의 특정 동작을 끌어내려 했지만, Claude가 그 과정을 계속 방해했다. 모델이 자기 진영의 작동 방식에 맞춰지는 현상이 드러난 사례다.

이 흐름이 이어지면 1st party harness의 동작이 모델에 이미 내장돼 3rd party harness의 가치가 떨어질 수 있다. 더 이상 fine-tuning으로 이 편향을 일반화해 풀어낼 탈출구도 사라진다.

결국 frontier models는 범용 플랫폼보다 전용 기기에 가까워질 수 있다. 일부 기업에겐 애플리케이션 구축이 쉬워지겠지만, 신뢰성과 일관성을 얻는 대신 lock-in이 커진다. 각주는 John Siracusa의 Naked Robotic Core 비유를 떠올리게 한다.