AI Briefing#multimodal
#multimodal와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#multimodal와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Thinking Machines Lab이 인간-AI 협업용 실시간 상호작용 모델을 공개했다.
llama.cpp가 MTP와 멀티모달 기능의 충돌을 해결하고 통합을 지원하기 위한 업데이트를 진행 중이다.
Interfaze가 OCR·STT·구조화 출력용 새 모델 아키텍처와 API를 공개했다.
Gemini API File Search가 이미지·텍스트 RAG와 페이지 인용을 지원한다.
OpenAI API 호환 및 프로세스 격리 구조로 실시간 대화와 고품질 TTS를 동시에 지원한다.
토크나이저와 생성 모델을 함께 학습해 ImageNet 256x256에서 FID 1.48을 기록했다.
GLM-5V-Turbo는 멀티모달 인식과 도구 사용, end-to-end 검증을 통합한 에이전트 모델이다.
UEyes 데이터셋으로 VLM의 시선 예측을 실제 eye-tracking과 비교했다.
NVIDIA가 문서·오디오·비디오를 다루는 멀티모달 모델 Nemotron 3 Nano Omni를 공개했다.
NVIDIA가 비전·오디오·언어를 통합한 Nemotron 3 Nano Omni를 공개했다.
Pocket LLM v1.5.0이 공개돼 Android 오프라인 채팅에 음성·이미지 입력과 OCR, 카메라 캡처가 추가됐다.
이미지 모델이 픽셀을 직접 렌더링하여 웹 페이지를 실시간으로 생성하는 실험적 인터페이스 Flipbook을 소개한다.