FastAPI SSE バックエンドで LLM レスポンスをトークンごとにストリーミングする機能を構築しました。時間ができたので。本番環境で 2 つの問題が発生しました。ローカルでは問題なく動作していました 🙃:nginx はデフォルトで SSE をバッファリングします。ストリームはローカルでは配信されていましたが、Railway では完全に沈黙していました。proxy_buffering off に設定したところ、2 時間後に修正されました。LLM API は、ドキュメントが一致しない場合に empty_retrieval イベントを返します。これを処理していなかったため、フロントエンドは無限にローディングスピナーのままでした。ハンドラーを追加して解決しました。https://zooming-charm-production-547e.up.railway.app/