진지한 최적화 계층으로서의 텍스트

많은 ML 연구자들이 '진정한 학습은 가중치(weights)에서 일어난다'고 믿으며 프롬프트나 컨텍스트 수정 같은 **텍스트 최적화(Text Optimization)**를 경시하는 경향이 있다. 하지만 텍스트 최적화는 프롬프트, 메모리, RAG 데이터베이스 등을 포함하는 중요한 상태 업데이트 메커니즘이다.

텍스트 최적화는 다음과 같은 세 가지 핵심적인 이점을 가진다.

• 정당한 업데이트 메커니즘: 새로운 정보에 반응하여 미래의 행동을 변화시킨다는 점에서 경사 하강법(Gradient-based optimization) 기반의 가중치 업데이트와 동일한 기능적 역할을 수행한다.
• 높은 샘플 효율성: 데이터가 부족한 상황(low-data regime)에서 텍스트는 짧고 확률이 높은 형태로 정보를 압축하여 전달하므로, 가중치 업데이트보다 훨씬 효율적인 **귀납적 편향(Inductive bias)**을 제공한다.
• 새로운 스케일링 축(Update-time compute): 추론 시 연산량을 늘리는 방식처럼, 텍스트 최적화는 시스템이 단일 경험으로부터 학습하는 데 더 많은 연산을 투입할 수 있게 한다.

특히 **성찰적 학습(Reflective learning)**을 통해 시스템은 자신의 행동을 텍스트로 가설화하고 테스트할 수 있다. 이는 실패 비용이 높거나, 원하는 동작을 명시하기 어렵거나, 오프라인 트레이스 데이터가 풍부한 환경에서 매우 유용하다.