DeepSeek API 대규모 업그레이드

DeepSeek API가 /chat/completions와 신규 /completions를 중심으로 기능을 대폭 확장했다. 이번 업데이트는 deepseek-chat과 deepseek-coder 두 모델에 열려 있으며, OpenAI API와의 호환성을 강조한다.

주요 변경점은 다음과 같다.

• JSON Output: response_format을 {'type': 'json_object'}로 설정해 유효한 JSON 형식 출력을 강제할 수 있다.
• Function Calling: 외부 도구와 연결해 실제 작업을 수행할 수 있으며, 한 번의 호출에서 최대 128개 함수를 지원하고 parallel function calls도 가능하다.
• Chat Prefix Completion: 마지막 assistant 메시지의 앞부분을 지정해 모델이 그 뒤를 이어 완성하게 할 수 있다. base_url은 https://api.deepseek.com/beta를 사용하고, 마지막 메시지의 prefix를 True로 설정해야 한다.
• 8K max_tokens(Beta): Beta API에서 max_tokens 상한을 8192까지 올려 더 긴 출력 시나리오를 지원한다.

또한 새로운 /completions API에서는 FIM( Fill-In-the-Middle ) Completion을 제공한다. prefix와 suffix를 주고 가운데를 채우는 방식으로, 스토리 완성이나 코드 완성 같은 용도에 적합하며 Chat Completion과 같은 요금 체계를 따른다.

Beta 기능을 쓰려면 모두 https://api.deepseek.com/beta를 base_url로 설정해야 한다. DeepSeek는 Beta API를 아직 불안정한 기능으로 규정하며, 이후 테스트와 출시 계획이 유연하게 바뀔 수 있다고 밝혔다.