Qwen-Agent를 사용하여 LLM의 컨텍스트를 8k에서 1M으로 확장하기

최근 LLM 트렌드는 수백만 토큰을 처리하는 롱 컨텍스트(long-context) 모델로 향하고 있다. 하지만 이를 위한 충분한 파인튜닝 데이터를 준비하는 것은 기술적 난제 중 하나다.

Qwen-Agent를 활용하면 8k 컨텍스트를 가진 약한 모델로도 1M 컨텍스트를 처리할 수 있는 강력한 에이전트를 구축할 수 있다. 이 에이전트로 합성 데이터를 생성한 뒤, 이를 통해 최종적으로 1M 컨텍스트를 지원하는 강력한 모델을 파인튜닝하는 3단계 전략을 제안한다.

에이전트는 세 가지 단계로 진화한다:

• Level 1: RAG (Retrieval-Augmented Generation) - 키워드 기반 방식이다. 사용자 쿼리에서 정보와 지시사항을 분리하고, 다국어 키워드를 추출한 뒤 BM25 알고리즘을 통해 관련 청크를 검색한다.
• Level 2: Chunk-by-Chunk Reading - 키워드 매칭의 한계를 극복하기 위해 모든 512토큰 청크의 관련성을 모델이 직접 평가한다. 관련 문장을 추출해 다시 검색 쿼리로 사용하는 브루트 포스(brute-force) 전략을 사용한다.
• Level 3: Step-by-Step Reasoning - 멀티홉(multi-hop) 추론이 필요한 복잡한 질문을 해결하기 위해 도구 호출(tool-calling) 등을 활용해 단계별로 사고하며 답을 찾아낸다.