DEV Community 中文 关注 如何为你的RAG添加UI?!? 刚刚在空闲时间搭建了一个基于 FastAPI 的 SSE 后端,用于逐 token 流式传输 LLM 响应。生产环境中出现了两个本地运行正常但上线后失效的问题🙃:1. nginx 默认会对 SSE 进行缓冲。本地测试时流式传输正常,但在 Railway 上却完全静默。将 proxy_buffering 设置为 off 后,两小时问题得以解决。 2. LLM API 在检索不到匹配文档时会返回 empty_retrieval 事件。此前未处理该事件,导致前端加载指示器无限期停留。现已添加相应处理器,问题已解决。https://zooming-charm-production-547e.up.railway.app/ How to add UI for your RAG?!? dev.to DEV Community 中文 RSS thenote.app
proxy_buffering设置为off后,两小时问题得以解决。 2. LLM API 在检索不到匹配文档时会返回empty_retrieval事件。此前未处理该事件,导致前端加载指示器无限期停留。现已添加相应处理器,问题已解决。https://zooming-charm-production-547e.up.railway.app/