Стриминг ответов LLM в браузер

Печатается на глазах - и ждать не так тоскливо

Когда ответ большой, ждать его целиком неприятно. Стриминг показывает текст по мере генерации.

res.setHeader("Content-Type", "text/event-stream");
for await (const chunk of stream) res.write(`data: ${chunk}\n\n`);

На сервере включаю стрим у модели, на клиенте читаю Server-Sent Events. UX становится живым почти бесплатно. Только не забудьте про обработку обрыва соединения.