WebStreams를 10배 더 빠르게 만드는 극한의 최적화

Next.js 서버 렌더링 프로파일링 과정에서 WebStreams 자체가 성능 병목 지점임을 확인했다. 데이터가 이미 버퍼에 있음에도 불구하고, reader.read() 호출 시마다 객체 할당과 Promise 체인, 마이크로태스크 큐 이동이 발생하여 상당한 오버헤드를 유발하기 때문이다.

실제로 1KB 청크 기준, 네이티브 WebStream의 pipeThrough 성능은 630 MB/s에 불과했으나, Node.js의 pipeline()은 약 7,900 MB/s를 기록하며 12배 이상의 성능 차이를 보였다.

이를 해결하기 위해 개발된 fast-webstreams 라이브러리는 WHATWG 표준 API를 유지하면서 내부적으로는 최적화된 Node.js streams를 사용한다. 주요 최적화 방식은 다음과 같다:

• 파이프라인 최적화: pipeThrough와 pipeTo를 연결할 때 즉시 실행하는 대신 상위 링크를 기록한 뒤, 마지막에 단일 pipeline() 호출로 통합하여 Promise 오버헤드를 제거한다. 이를 통해 약 6,200 MB/s의 성능을 달성했다.
• Fast-path read: reader.read() 호출 시 데이터가 있다면 Node.js의 read()를 통해 동기적으로 처리하여 이벤트 루프 왕복과 객체 할당을 최소화한다. 이 방식은 약 12,400 MB/s의 속도를 보여준다.

이러한 최적화는 특히 React Server Components와 같이 특정 바이트 스트림 패턴을 사용하는 환경에서 성능을 극적으로 향상시킨다.