CSV 데이터 기반 질의응답 벤치마킹

LangChain 팀은 텍스트 데이터와 달리 명확한 레시피가 부족했던 CSV 데이터 기반 질의응답(QA) 작업에 초점을 맞췄다. 기존에는 사용자가 어떤 질문을 할지 예측하기 어렵고, 자연어 출력을 평가할 적절한 지표가 부재하여 LLM 애플리케이션 평가가 어려웠다.

이를 해결하기 위해 Streamlit 앱을 구축해 실제 사용자 질문 분포를 수집하고, LangSmith를 활용해 초기 솔루션의 문제를 디버깅했다. 평가 지표로는 BLEU나 ROUGE 대신 LLM을 활용한 평가 방식을 적용했다.

최종적으로 도출된 개선된 솔루션은 OpenAI functions를 사용하는 커스텀 에이전트다. 이 에이전트는 Python REPL과 리트리버(retriever) 두 가지 도구를 활용하여 CSV 데이터에 대한 질의응답을 처리한다. 해당 앱, 데이터셋, 평가 스크립트는 모두 오픈소스로 공개되었다.