LG AI 연구, NAACL 2024 ClinicalNLP 워크숍 EHRSQL 과제 1위 달성

LG AI 연구원과 KAIST는 NAACL 2024에서 개최된 ClinicalNLP 2024 워크숍의 EHRSQL 과제에서 1위를 달성했다. 이번 연구는 의료 전문가가 자연어로 질문하면 이를 SQL 쿼리로 변환하여 전자 건강 기록(EHR) 데이터베이스에서 정확한 답변을 추출하는 시스템을 구축하는 데 중점을 두었다.

의료 분야에서는 잘못된 정보가 치명적일 수 있으므로, 모델의 신뢰성(Reliability) 확보가 핵심이다. 이를 위해 모델이 답변할 수 없는 질문을 스스로 식별하고 회피할 수 있는 메커니즘을 도입했다. 평가 지표인 **신뢰성 점수(Reliability Score, RS)**를 통해 정확한 쿼리 생성 능력과 불확실한 질문에 대한 응답 자제 능력을 동시에 측정했다.

연구팀은 모델 성능 향상을 위해 다음과 같은 접근 방식을 사용했다:

• 자가 학습(Self-training): 초기 시드 모델을 학습시킨 후, 이를 활용해 답변 불가 질문을 식별하고 확장된 데이터셋으로 모델을 재학습하는 2단계 전략을 적용했다.
• 필터링 메커니즘: 생성된 SQL 쿼리의 품질을 보장하기 위해 종합적인 필터링 기술을 활용했다.

이번 성과는 기술적 전문성이 부족한 의료진도 복잡한 EHR 데이터에 쉽게 접근할 수 있도록 돕고, 기술과 임상 실무 사이의 간극을 좁히는 데 기여할 것으로 기대된다.