FHE 기반 LLM 프라이버시 보호 기술

LLM 사용 시 발생하는 사용자 데이터 유출 및 모델 지식재산권(IP) 보호 문제를 해결하기 위해 완전 동형 암호(Fully Homomorphic Encryption, FHE) 기술을 적용하는 방안을 제시한다.

Zama는 Hugging Face의 transformers 라이브러리와 Concrete-Python을 활용하여, 암호화된 데이터 상태에서 LLM의 일부 연산을 수행할 수 있는 방법을 설명한다.

주요 기술적 특징은 다음과 같다:

• 데이터 및 모델 보호: 사용자의 쿼리는 암호화되어 서버로 전송되며, 서버는 암호화된 상태에서 연산을 수행하므로 데이터 유출 위험을 최소화한다. 동시에 모델 가중치는 서버에 안전하게 유지되어 IP를 보호할 수 있다.
• 연산 방식: TFHE를 사용하여 모델 가중치와 활성화 함수를 정수로 표현하며, 비선형 함수는 프로그래머블 부트스트래핑(Programmable Bootstrapping, PBS) 연산을 통해 처리한다.
• 구현 사례: GPT-2 모델의 멀티 헤드 어텐션(MHA) 레이어 중 일부를 FHE로 구현하여, 클라이언트와 서버 간의 하이브리드 추론 방식을 보여준다.

성공적인 구현을 위해 모델 가중치와 활성화 값을 정수로 변환하는 양자화(Quantization) 과정이 필수적이며, 이를 통해 암호화된 값 위에서도 모델의 예측 품질을 유지할 수 있다.