LOTUS: LLM 기반 대규모 데이터 처리 프레임워크

LOTUS는 대규모 데이터셋에 LLM 및 에이전트 기반 처리를 빠르고 경제적으로 적용하기 위한 프레임워크입니다. 스탠퍼드 대학교와 UC 버클리 연구진이 개발하였으며, 관계형 데이터베이스의 질의 최적화 원리를 LLM 호출에 적용했습니다.

핵심 특징은 **'무엇을 할지(선언적 프로그래밍)'**와 **'어떻게 실행할지(최적화)'**를 분리한 것입니다. 사용자가 자연어로 작업(map, filter, reduce 등)을 정의하면, LOTUS 옵티마이저가 다음과 같은 기법을 통해 실행 계획을 결정합니다.

• 배칭(Batching): 여러 호출을 묶어 효율성 증대
• 모델 캐스케이드(Model Cascade): 난이도에 따라 저렴한 모델과 고성능 모델을 적절히 배분
• 지연 실행(Lazy Execution): 필요한 시점에 연산을 수행하여 자원 낭비 방지

주요 연산자로는 데이터 변환을 위한 sem_map, 조건에 맞는 데이터를 거르는 sem_filter, 데이터를 종합하는 sem_agg, 그리고 두 집합을 결합하는 sem_join이 있습니다. 또한 복잡한 도구 사용이 필요한 작업을 위한 에이전트형 연산자와 명확한 작업에 최적화된 LLM형 연산자를 모두 지원합니다.