Llama 3.2 1B, 480개 예제로 Android 탑재

Llama 3.2 1B를 480개의 손수 큐레이션한 ShareGPT 예제로 LoRA 미세조정한 뒤, Q4_K_M로 병합·양자화해 Android 앱에 올렸다.

• 기본 모델: meta-llama/Llama-3.2-1B-Instruct
• 튜닝: LoRA r=16, alpha=32, 대상 모듈 7개, 3 epoch, lr=2e-4
• 최종 크기: 770MB
• 런타임: Android에서 llamadart와 llama.cpp GPU backend 사용

실기기 측정에서는 다음 성능을 보였다.

• Pixel 7 Pro: 약 25 tok/s, 로드 1.5초, 80토큰 생성 3~4초
• Pixel 6a: 약 15 tok/s, 로드 2.5초, 80토큰 생성 4~5초
• Samsung S22: 약 22 tok/s, 로드 2.0초, 80토큰 생성 3.5~4.5초

48개 홀드아웃 샘플 평가에서는 on-tone, specific, funny, category-correct 4개 기준으로 80%+ pass rate를 기록했다.

가장 눈에 띄는 점은 데이터 규모였다. 480개 수준에서 성능이 400개 안팎부터 평탄해졌고, 병목은 예제 수보다 데이터 품질이었다.