OpenAI, GPT-6 시리즈 프로덕션 최적화 가이드 공개

OpenAI가 GPT-6 시리즈의 프로덕션 환경 최적화를 위한 모델 가이드를 공개했다. 이 가이드는 컨텍스트 관리, 추론 레벨 설정, 워크플로우 오케스트레이션의 중요성을 강조하며 성능, 비용, 신뢰성을 균형 있게 관리하는 전략을 제시한다.

프로덕션 효율성 및 비용 관리

가이드는 프로덕션 운영을 위해 프롬프트 캐싱과 컴팩션 활용을 권장한다. 모델에 따라 캐시된 입력 토큰 비용은 비캐시 토큰 대비 최대 95% 절감될 수 있다. 캐시 적중률을 높이기 위해 고정된 지침과 참조 자료는 변경되는 작업 세부 사항 앞에 배치해야 한다. 긴 대화에서는 컴팩션을 통해 컨텍스트 크기를 줄이면서도 작업 지속에 필요한 상태를 유지할 수 있다.

모델 선택 및 추론 레벨

가이드는 모델별 성능과 비용의 트레이드오프를 다음과 같이 설명한다:

• GPT-6 Astra: 가장 어려운 추론이 필요한 복잡한 작업에 최적.
• GPT-6.1 Sol: 복잡한 코딩, 연구, 컴퓨터 사용에 최적화.
• GPT-6 Luna: 인보이스 필드 추출이나 구조화된 요약 생성 등 대규모 집중 작업용.

사용자는 추론 레벨(Low, Medium, High, Extra High/Max)을 조정해 속도와 품질의 균형을 맞출 수 있다. API는 캐시를 깨뜨리지 않고 대화 중 추론 강도를 변경할 수 있게 지원한다. 지연 시간에 민감한 애플리케이션의 경우, Fast mode는 토큰당 비용은 높지만 더 빠른 응답 시간을 제공한다.

장기 실행 워크플로우 관리

다단계 워크플로우에서는 업데이트와 독립적 작업을 처리하기 위해 스티어링, 비동기 도구, 위임을 활용하도록 제안한다. 모델이 독립적으로 진행할 수 있는 작업과 승인이 필요한 작업을 명확히 구분하는 결정 경계 설정이 중요하다. 컴퓨터 사용 기능을 통해 GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna는 브라우저 및 데스크톱 애플리케이션과 직접 상호작용하여 버그 조사나 UI 테스트 같은 작업을 전용 API 없이 수행할 수 있다.

실제 적용 사례

가이드에는 GPT-6 Astra의 영향력을 보여주는 사례 연구가 포함되었다:

• Harvey: 법원 정보와 로펌 문서를 결합해 법률 초안을 맞춤화하는 데 모델을 사용한다.
• Cognition: Devin에 GPT-6 Astra를 통합해 테스트 보고서와 시뮬레이터 녹화물을 생성한다.
• Hex: 비즈니스 질문을 대화형 대시보드와 서면 결과로 변환한다.
• Invideo: 색보정 작업에서 성공률을 약 3배 높였고, 편집자가 하루에 약 50개의 효과를 제작할 수 있게 했다.