생성형 AI로 QA 업무 수행하기 : 똑똑한 소프트웨어 테스트의 시작

생성형 AI가 QA 분야에서 필수 도구로 자리 잡으며, 요구 사항 분석부터 결함 분석까지 소프트웨어 테스트 전 단계에서 업무 효율성과 정확성을 향상시키고 있다. AI는 반복적인 기본 테스트 케이스 작성을 자동화해 QA 엔지니어가 예외 케이스나 탐색적 테스트에 집중할 수 있도록 지원한다.

ChatGPT-4o는 이미지나 PDF 형식의 기획서를 분석해 엑셀 형식의 산출물을 자동 생성하는 능력이 강점으로 꼽혀 최종 선택 모델로 채택됐다. 이를 통해 문서 분석 및 데이터 정리 시간을 단축하고, 복잡한 요구 사항의 잠재적 모호성을 사전에 발견할 수 있다.

프롬프트 엔지니어링 기법

정확한 결과물을 얻기 위해 다양한 프롬프트 기법이 활용된다.

• Chain-of-Thought Prompting: 복잡한 문제를 단계별로 분해해 심층 분석을 유도하며, 기획 문서 분석에 효과적이다.
• Chain-of-Question Prompting: 연속적인 질문을 통해 논리적 결함이나 보안 리스크를 조기 식별한다.
• Least-to-Most Prompting: 기본 테스트 케이스에서 시작해 점진적으로 복잡한 시나리오로 확장하여 구조적 예외 상황을 처리한다.
• Role-based & Contextual Prompting: AI에게 QA 엔지니어 역할을 부여하고 구체적인 업무 상황을 제공해 실질적인 테스트 케이스를 생성한다.

실제 적용 및 한계

포인트 쿠폰 구매 서비스 검증에 시범 적용한 결과, 수정이 필요한 케이스가 발견되었으나 전반적으로 기능 검증에 유용했다. AI는 예상치 못한 예외 케이스를 검출하는 데 도움을 주지만, 복합 케이스에 대해서는 보완이 필요하며 결과물은 100% 완벽하지 않아 수작업 검토가 필수적이다. 향후에는 AI의 장점과 수작업 테스트 간 균형을 유지하고, 새로운 모델 등장 시 최적화된 프롬프트를 지속해서 개발할 계획이다.