transformers

🚀 주요 업데이트 (New Features)

• Inkling 모델 추가: Thinking Machines에서 개발한 대규모 멀티모달 모델이 추가되었습니다. 텍스트, 이미지, 오디오 입력을 지원하며 텍스트 출력을 생성합니다. (총 975B 파라미터, 활성 파라미터 41B)
• TIPSv2 및 TIPSv2 DPT 모델 추가: 새로운 모델 아키텍처인 TIPSv2와 TIPSv2 DPT가 라이브러리에 통합되었습니다.

⚠️ 주의 사항 (Breaking Changes)

• GPTNeoX: 가중치 매핑 방식이 변경되었습니다. 기존의 embed_out이 lm_head로 리매핑됩니다. 기존 가중치 명칭에 의존하던 코드는 수정이 필요할 수 있습니다.
• GPTBigCode: vLLM과의 호환성을 위해 _supports_attention_backend = True 설정이 활성화되었습니다. 기존의 어텐션 백엔드 동작 방식에 의존하던 사용자는 주의가 필요합니다.