Как добавить интерфейс для ваш... Заметка
DEV Community на русском

Как добавить интерфейс для вашего RAG?!?

Только что создал бэкенд FastAPI с поддержкой SSE для потоковой передачи ответов LLM токен за токеном, когда появилось свободное время.Две вещи сломались на продакшене, хотя локально работали нормально 🙃:nginx по умолчанию буферизует SSE. Поток работал локально, но на Railway был мертв. proxy_buffering off через два часа исправил проблему.API LLM возвращает событие empty_retrieval, когда нет совпадений. Я его не обрабатывал, поэтому фронтенд бесконечно зависал на индикаторе загрузки. Добавил обработчик, решил проблему.https://zooming-charm-production-547e.up.railway.app/