RAG에 UI를 추가하는 방법은?!?
시간이 좀 나서 FastAPI SSE 백엔드에서 LLM 응답을 토큰 단위로 스트리밍하도록 방금 구축했습니다.로컬에서는 잘 작동하던 두 가지가 프로덕션에서 문제가 발생했습니다 🙃:nginx는 기본적으로 SSE를 버퍼링합니다. 스트림은 로컬에서는 전달되었지만 Railway에서는 전혀 작동하지 않았습니다. proxy_buffering off로 두 시간 후에 해결되었습니다.LLM API는 일치하는 문서가 없을 때 empty_retrieval 이벤트를 반환합니다. 이를 처리하지 않아 프론트엔드가 무한정 로딩 스피너 상태에 머물렀습니다. 핸들러를 추가하여 해결했습니다.https://zooming-charm-production-547e.up.railway.app/