Private Mind, Qwen 3 1.7B 온디바이스 웹 검색 지원

iOS와 Android에서 LLM을 로컬로 실행하는 오픈소스 앱 Private Mind가 온디바이스 웹 검색 기능을 출시했다. 이 기능은 Qwen 3 1.7B 모델이 실시간 정보에 접근할 수 있게 하며, 대화 데이터를 기기에만 보관해 프라이버시를 유지한다.

작동 방식

1.7B 모델의 제한된 컨텍스트 윈도우로 인해 전체 웹 페이지를 처리할 수 없어, 다음과 같은 다단계 검색 프로세스를 사용한다.

• 검색 API 미사용: 기기의 숨겨진 WebView를 통해 DuckDuckGo를 열고 검색 결과를 직접 파싱한다. Brave와 Mojeek은 대체 수단으로 사용된다.
• 청킹: 상위 검색 결과를 열어 약 500자 단위로 분할한다.
• 선택: 온디바이스 임베딩 모델 LFM2.5(~415MB)와 키워드 매칭을 결합해 최적의 청크 6개를 선택한다. 한 페이지에서 최대 3개까지만 허용된다.
• 합의: 여러 사이트에서 교차 검증된 정보는 단일 출처의 주장보다 가중치를 높게 받는다.
• 응답: 모델은 선택된 청크만을 사용해 답변하며 모든 출처를 링크한다.

기술 구현

LLM과 임베딩 모델을 포함한 전체 파이프라인은 react-native-executorch에서 실행된다. 웹 검색은 기본적으로 비활성화되며 채팅별 토글로 제어된다. 활성화 시 기기는 일반 브라우저와 동일한 네트워크 요청을 보내지만, 대화 기록과 처리 과정은 모두 로컬에서 이루어진다.