Flex 소개: 모델에게 코드 작성을 맡기기 (16분 읽기)

DSPy는 AI 생태계의 발전에 맞춰 같은 작업을 새 방식으로 재구현할 수 있도록 작업 정의와 모델을 분리해왔다. 초기에는 BootstrapFewShot이 퓨샷 예제를 고르고, 이후에는 MIPROv2와 GEPA가 지시문을 개선했으며, 이제는 모델의 코딩 능력을 활용해 프로그램 코드 자체를 수정한다.

새 모듈 Flex는 기존 Predict, ReAct, RLM 프로그램에 넣어 사용할 수 있다. 최적화 전에는 일반적인 Predict 모듈처럼 동작하지만, GEPA에 전달하면 지시문뿐 아니라 소스 코드도 공개해 리플렉션 모델이 헬퍼 함수, 라우팅 로직, 프롬프트를 함께 작성하도록 한다.

사용자는 저렴한 LM을 추론에, 더 큰 LM을 코드와 지시문 작성에 배정할 수 있다. GEPA는 주어진 평가 지표를 기준으로 Flex 프로그램을 최적화하며, 결과물은 save로 저장하고 다시 불러올 수 있는 읽기·비교 가능한 소스 파일로 남는다.

최적화된 프로그램은 일부 입력을 모델 호출 없이 코드로 처리할 수 있고, 모델을 호출하더라도 파싱과 비교 작업을 먼저 수행해 더 좁고 명확한 질문을 전달한다. 그 결과 모델 호출 횟수를 줄이면서 호출 품질과 전체 성능을 높이는 것을 목표로 한다.

모델이 작성한 코드는 신뢰할 수 없는 코드로 취급된다. Flex는 생성된 소스를 샌드박스 인터프리터에서 실행하고, 호스트 프로세스와는 명시적으로 제공한 도구와 predictor 호출만 연결하며, max_predictor_calls로 한 번의 실행에서 허용되는 호출 횟수를 제한한다.

실험에는 두 장소 목록이 같은 실제 장소를 가리키는지 판단하는 location conflation 작업이 사용됐다. 1,029개의 라벨링된 쌍으로 학습하고 240개의 보류 데이터를 평가했으며, KIN CAFE처럼 같은 장소인 사례와 CONCESSION #2 KEN MERCER SPORTS PARK처럼 주소가 같아도 다른 장소인 사례를 구분해야 한다.