프레임워크 없는 AI 엔지니어링 실습: Colab 기반 RAG, 에이전트, 평가 무료 오픈소스 공개

AI 엔지니어와 Forward Deployed Engineer(FDE)를 위한 프레임워크 없는(framework-free) 실습 자료 'AI Engineer Notebooks'가 공개되었습니다. LangChain이나 LlamaIndex 같은 래퍼에 의존하지 않고, 원시 API 호출을 통해 에이전트 루프, RAG, 평가 시스템을 직접 구현하여 본질적인 원리를 이해하도록 설계되었습니다.

핵심 특징

• 프레임워크 배제: 복잡한 래퍼 대신 원시 API로 시스템을 구축하여, 프레임워크가 실제로 하는 일을 파악하고 필요 여부를 판단할 수 있는 역량 강화
• 평가(Evals) 중심: '측정 후 튜닝' 원칙을 모든 섹션에 적용하여, 데모가 아닌 실제 운영 가능한 시스템 구축 습관 형성
• 무료 실행 환경: Groq의 무료 API를 사용하여 신용카드 없이 전체 과정 실행 가능 (LoRA 파인튜닝 및 셀프 호스팅 서빙은 Colab GPU 부록으로 제공)
• 실제 사례 연구: 프로덕션 디버깅, 파이프라인 vs 에이전트 비용 비교, 레드팀 벤치마크 등 3가지 실제 제약 조건 하의 엔드투엔드 사례 포함

학습 내용

• 모델 API: 프롬프트 기초, 구조화된 출력, 툴 호출, 스트리밍, 컨텍스트 캐싱
• RAG: 임베딩, 하이브리드 검색, 리랭킹, 청킹 전략 및 실패 원인 진단
• 평가: 골든 세트 구축, LLM-as-a-judge, 회귀 테스트
• 에이전트: 원시 API 기반 에이전트 루프, 툴 설계, 가드레일, MCP 및 스킬 패턴
• 모델 적응: 파인튜닝 vs RAG vs 프롬프트 엔지니어링의 트레이드오프 분석

OpenAI 호환 API를 사용하므로 패턴을 OpenAI 및 Anthropic으로 쉽게 전환할 수 있으며, MIT 라이선스로 공개되어 있습니다.