데이터 분석 라이브러리 개발기 (2) - 통합 테스팅과 문서화 전략

DevPlay Analytics는 PySpark를 활용해 Amazon S3의 데이터를 분석하는 파이썬 라이브러리다. 데이터 분석 라이브러리는 일반적인 라이브러리와 달리 S3 입출력 및 PySpark 환경에 강하게 의존하므로 테스트 환경 구축이 까다롭다.

테스트 프레임워크로는 unittest와 pytest를 고려할 수 있다. unittest는 클래스 기반으로 setUp과 tearDown을 통해 자원을 관리한다. 반면 pytest는 함수 단위의 간결한 문법과 강력한 fixture 기능을 제공하여, 복잡한 자원의 생성과 반환 시점을 제어해야 하는 데이터 분석 라이브러리 개발에 더 효율적이다.

하지만 IO 계층이 PySpark와 S3에 의존하고 있어 이를 mocking하는 데 한계가 있다. 초기에는 S3에 테스트용 버킷과 샘플 데이터를 직접 준비하는 방식을 사용했으나, 비즈니스 로직의 특성상 테스트 구성에 어려움이 존재한다.