Node.js에서 SSE(Server-Sent Events)를 사용하여 실시간 텍스트 스트리밍 구축하기

Axrisi는 사용자 몰입을 위해 낮은 지연 시간을 최우선으로 하여 AI가 생성한 텍스트를 브라우저로 스트리밍하기 위해 Server-Sent Events (SSE)를 사용했습니다. 기존의 폴링 방식은 많은 수의 동시 사용자를 처리하는 데 충분하지 않다는 것이 입증되었습니다. SSE의 가볍고, 자동 재연결 기능, 그리고 네이티브 브라우저 지원은 주요 장점이었습니다. 그들의 NestJS 서버 구현은 SSE 연결을 처리하기 위해 POST 경로를 사용하며, AI가 생성한 텍스트 청크를 처리하여 JSON 페이로드로 전송합니다. 클라이언트 측에서는 EventSource를 사용하여 이러한 이벤트를 수신하고 처리하며, UI를 적절하게 업데이트합니다. 성능 개선 사항으로는 낮은 CPU 사용량과 지연 시간이 있었으며, 효율적인 메모리 사용량을 유지했습니다. 강력한 리소스 관리는 연결 추적 및 연결 해제 시 정리 작업을 포함하여 고아 프로세스를 방지합니다. 보안 조치로는 JWT를 통한 인증과 남용 방지를 위한 속도 제한이 포함됩니다. SSE는 모든 시나리오에 이상적이지 않으며, 특히 양방향 통신 또는 바이너리 데이터가 필요한 경우 더욱 그렇습니다. Axrisi의 경험은 SSE가 일방향 스트리밍에 효과적이며, AI 텍스트 처리 확장 기능에서 사용자 경험을 향상시킨다는 것을 보여줍니다.