AI Briefing#multimodal
#multimodal와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#multimodal와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 GPT-4o 기반의 새로운 멀티모달 moderation 모델을 Moderation API에 도입했다.
Meta가 멀티모달 기능과 온디바이스 실행이 가능한 Llama 3.2 모델 시리즈를 공개했다.
HuggingFace가 풍부한 메타데이터를 포함한 43,000개의 비디오 데이터셋 FineVideo를 공개했다.
OpenAI가 GPT-3.5 Turbo보다 60% 이상 저렴하고 성능은 강화된 소형 모델 GPT-4o mini를 공개했다.
Hugging Face가 강력한 OCR 성능을 갖춘 8B 규모의 오픈 소스 멀티모달 모델 Idefics2를 공개했다.
이미지와 텍스트를 동시에 처리하는 Vision Language Model(VLM)의 원리와 주요 모델을 정리한 가이드입니다.
멀티모달 모델의 텍스트-이미지 공동 추론 능력을 평가하는 새로운 데이터셋 및 리더보드 'ConTextual'이 공개되었다.
고정된 이미지 인코더와 LLM을 연결하는 Q-Former를 통해 효율적인 시각-언어 학습을 구현한 BLIP-2를 소개한다.
OFASys는 'Instruction' 인터페이스를 통해 단 한 줄의 코드로 복잡한 멀티모달 멀티태스크 학습을 구현하는 AI 프레임워크다.
중국어 문화와 도메인에 최적화된 멀티모달 모델 Chinese CLIP이 공개되었다.
문서 이해를 위한 Document AI의 주요 태스크와 멀티모달 모델 활용법을 정리한 기술 가이드입니다.
모든 종류의 데이터를 처리할 수 있는 확장 가능한 멀티모달 모델 Perceiver IO가 Transformers 라이브러리에 추가되었다.