분산 시스템용 CAJAL-4B 공개

CAJAL-4B-P2PCLAW는 Zurich의 P2PCLAW 연구팀이 만든 4.21B 파라미터 Qwen3.5-4B 기반 모델로, 분산 시스템과 암호 프로토콜 연구 보조를 목표로 한다. 262,144 토큰 컨텍스트와 영어·스페인어 지원을 내세우며, 배포는 MIT 라이선스지만 베이스 모델의 원 라이선스 확인도 별도로 안내한다.

• 아키텍처는 linear attention과 full self-attention을 섞은 하이브리드 구조를 사용하고, 4블록마다 full attention을 넣는다고 설명한다.
• 학습 데이터/설정은 P2PCLAW가 큐레이션한 10,000개 과학 예제로 구성되며, LoRA/QLoRA 방식에 rank 16, alpha 32, 4-bit NF4, learning rate 2e-4, batch size 8, 최대 시퀀스 길이 2048을 사용했다.
• 결과는 RTX 3090 1장으로 약 13시간 학습했고, 최종 손실은 0.03192, 훈련 정확도는 **98.95%**라고 밝혔다.
• 추론 성능은 Ollama GPU에서 약 25 tok/s와 약 6.5GB 사용, Transformers GPU에서 20 tok/s와 약 7.8GB 사용, CPU에서는 5 tok/s와 약 4.2GB 사용을 제시했다.
• 활용 범위는 P2P 네트워크 구조, crypto-legal 프레임워크, 게임이론적 합의, ZKP·암호화, 분산 시스템 분석, 논문 작성, 스마트컨트랙트 리뷰를 주요 용도로 제안한다.

Ollama, Transformers, VS Code, Cursor, Zed, Open WebUI, LM Studio, Jan, OpenAI-compatible REST API, cajal-cli 연동도 함께 제공한다.