검증된 LLM 루틴

몇 년간 실제 자본이 걸린 소규모 펀드 리서치에 LLM을 써본 결과를 정리했다.

Chain of thought는 효과가 있지만, 단순히 "step by step"을 넣는 것보다 사람 전문가의 분석 순서를 명시할 때 성능이 크게 좋아진다.

권장 순서는 대략 다음과 같다.

• 비즈니스 모델 이해
• 경쟁 구도 분석
• 재무 분석
• 경영진 평가
• 밸류에이션
• 리스크 식별

특히 밸류에이션을 먼저 시키면 회사 이해 없이 숫자만 맞추는 식의 얕은 결론이 나오기 쉬워서, 추론의 순서 자체를 설계하는 것이 중요하다고 본다. 모델의 기본 경로는 유창한 문장 생성에 최적화되어 있고, 전문가의 경로는 분석 정확도에 맞춰져 있다는 점이 핵심이다.

또한 투자 분석은 한 번에 끝나는 단일 작업이 아니라 여러 하위 과제가 묶인 문제라서, 문제 분해가 매우 중요하다고 말한다. 비즈니스 모델 오해가 경쟁 분석으로, 그 왜곡이 다시 재무 예측과 밸류에이션으로 전파되며 오류가 누적되기 때문이다.