AI 지능 레이어 소유 전략: 오픈 웨이트 모델 기반 자체 AI 구축 4단계 로드맵

AI 애플리케이션 경쟁의 핵심이 UI나 워크플로우가 아닌 **지능 레이어(Intelligence Layer)**의 소유권으로 이동하고 있다. Satya Nadella와 Alex Karp 등 업계 리더들은 프런티어 랩에 지능을 의존하는 것이 독점적 지식과 비용을 이중으로 지불하는 것과 같다고 지적하며, 기업들이 자체 AI 기능을 구축하고 가중치(weights)를 소유할 것을 권장한다.

과거 오픈 모델 학습은 프런티어 모델의 빠른 개선으로 인해 무한 루프(treadmill)에 빠지는 경향이 있었으나, 현재는 Kimi K3, GLM 5.2 등 오픈 웨이트 프런티어 모델이 예상보다 빠르게 진화하며 프런티어에 가까운 베이스라인에서 시작할 수 있게 됐다. Mercor, Fireworks, LangChain 등 독립적인 포스트 트레이닝 스택이 성숙해지면서, 기업들은 프런티어 연구 랩의 기술 스택에 접근하여 자체 모델을 학습하고 추론할 수 있는 환경을 갖췄다.

지능 소유의 필요성

렌탈 지능(프런티어 API 사용)이 제약이 되는 제품 슬라이스가 존재하며, 다음과 같은 이유로 자체 지능 소유가 전략적 우위를 제공한다.

• 비용(Cost): AI 제품 성공 시 추론 비용이 매출원가(COGS)를 높이는 구조에서, 모델 소유는 마진 보호에 유리하다.
• 속도(Speed): 코딩 자동완성이나 사이버 보안 등 저지연이 중요한 도메인에서는 작은 증류(distilled) 커스텀 모델이 대형 일반 모델보다 성능이 좋을 수 있다.
• 독점 데이터(Proprietary Data): 피드백, 평가, 고객 상호작용 등 시스템 개선의 핵심 데이터가 내부에 머무르길 원할 때 필수적이다.
• 운명 통제(Controlling your destiny): 제품 소유는 곧 학습 루프와 지능 자체의 통제를 의미한다.

자체 AI 구축 4단계 로드맵

자체 지능을 구축하기 위해서는 플랫폼 팀에 끼워 넣는 방식이 아닌, 평가 구축과 데이터 형성을 수행하는 오펜시브한 소규모 신규(de novo) 팀 구성이 필요하다. Harvey는 단 7명의 팀으로 상당한 연구를 수행한 사례를 제시했다.

1. 평가(Evals): "좋은 벤치마크 없으면 모델 학습 불가"라는 원칙 하에, 시스템의 작업 수행 능력을 측정하는 태스크 세트(프롬프트, 컨텍스트, 채점자)를 확보해야 한다. Harvey의 Legal Agent Benchmark는 24개 법률 실무 분야, 1,200개 이상의 에이전트 태스크, 75,000개 이상의 루브릭으로 구성된다.
2. 하네스 및 컨텍스트 엔지니어링: 모델 주변의 제품 로직(라우팅, 검색, 도구, 메모리 등)을 관리하는 하네스를 구축한다. 좋은 하네스는 모델이 분포 외 태스크에서도 성능을 유지하도록 적절한 시점에 컨텍스트를 전달하며, 에이전트를 검사 가능(inspectable)하게 만든다.
3. 후학습(Post-training): 개선 목표에 따라 적절한 기법을 선택한다. 사실 누락은 RAG로, 출력 형식 오류는 Supervised fine-tuning으로, 제품 취향 문제는 Preference tuning으로, 전문화 태스크는 RL(강화학습)로, 속도/비용 문제는 Distillation(증류)으로 해결한다.
4. 온라인 학습(Online learning): 프로덕션 환경에서 실행 궤적(Trajectory)을 캡처하여 시스템을 지속적으로 개선한다. 실패한 태스크는 새로운 Eval이 되고, 누락된 정보는 메모리로 이동하며, 잘못된 도구 응답은 하네스 수정으로 이어진다.

결론

자체 스택 소유는 초기 하한(high floor)은 낮을 수 있으나 잠재적 상한(ceiling)은 높인다. 대형 연구소는 거대한 뇌(giant brains)를 구축하는 반면, 최고의 제품 회사들은 빠르고 도메인에 집착하는 **작은 천재들(little geniuses)**을 키우고 있다. 자체 지능을 소유하는 생태계는 개성(individuality)이 승리하는 방향으로 진화할 것이다.