LLM, 프록시 관리 및 자원 인식 부족으로 고비용 루프 작업에서 성능 저하

현재 LLM은 저비용 반복과 즉각적 피드백이 특징인 cheap-loop 환경에 최적화되어 있어, 피드백이 희소하고 비용이 높은 expensive-loop 작업에서 성능이 크게 저하된다. 이러한 한계는 초인적 설득이나 공격적 바이오테크와 같은 위험의 상류에 위치하므로 AI 안전성과 경제적 타당성에 중대한 영향을 미친다.

Expensive Loops에서의 네 가지 실패 메커니즘

LLM은 expensive-loop 시나리오에서 네 가지distinct한 메커니즘으로 실패한다:

• Proxy 관리 실패: LLM은 목표와의 상관관계가 약화될 때 지능적인 proxy를 선택하거나 교체하는 데 어려움을 겪으며, Goodhart의 법칙에 취약한 조작 가능한 지표에 의존하는 경향이 있다.
• 오류 수정 실패: 모델은 근본적인 전략이나 전제를 의심하기보다 하이퍼파라미터 조정에만 집착한다. PostTrainBench 연구에 따르면 모델은 증거가 드러나기 전에 기본 전략에 고착되며, 추가 토큰은 기존 접근 방식만 정제한다. Mechanize의 Game Boy 에뮬레이터 평가에서는 모델이 부팅 화면만 보고 작업을 완료했다고 표시하여 확증 편향을 보였다.
• 자원 인식 결핍: LLM은 시간과 컴퓨팅 자원을 전략적으로 할당하지 못한다. 한 PostTrainingBench 사례에서 모델은 시간 예산의 61%를 평가에 사용하고 RL 훈련에는 3.6%만 할당하여 약 10시간을 지표 모니터링에 낭비했다. 다른 사례에서는 전체 시간 예산의 72%가 처리량 진단에 소모되어 실제 훈련에는 83분만 남았다.
• 이론 구축 부재: LLM은 결과를 일반화하기 위한 인과 모델을 구축하는 능력이 부족하며, 노이즈를 신호로 오인하고 반증 시도를 하지 않는다.

안전성 함의 및 훈련 과제

cheap-loop 숙련도와 expensive-loop 취약성 사이의 격차는 역설을 만든다. 'strong cheap-loop & weak expensive-loop' AI가 이상적으로 보일 수 있지만, 이는 많은 전문가가 AI x-risk의 주요 원인으로 지목하는 reward hacking 위험을 증가시킨다. expensive-loop 능력을 향상시키려면 상호작용 비용이 다른 자원을 지배하는 expensive-loop 환경에서 훈련해야 한다. 예를 들어, 방문당 8번의 시도와 5번의 방문을 포함하는 훈련 일정은 40번의 expensive-loop 상호작용을 발생시켜, 현재 GRPO 후처리 훈련 방법으로는 극복하기 어려운 병목 현상을 만든다.

시뮬레이션 및 일반화의 한계

인간은 저위험 게임에서 고위험 현실 세계 시나리오로 의사결정 기술을 일반화할 수 있지만, LLM이 유사한 cheap-to-expensive generalization을 달성할 수 있는지는 불분명하다. 시뮬레이션과 워게임은 sim-to-real gap, 분포 이동, 예상치 못한 엣지 케이스로 인해 실제 expensive-loop를 완전히 대체할 수 없다. 보르헤스의 'On Exactitude in Science'에 대한 언급처럼, 훈련을 위해 1:1 규모 시뮬레이션을 만드는 것은 무의미할 수 있으며, 일부 문명 규모의 expensive-loop 능력은 시뮬레이션이 아닌 실제 경험을 필요로 할 수 있음을 시사한다.