RAG своими руками: ответы по своей базе

Чтобы ИИ говорил по делу

RAG - это когда перед ответом модель получает кусочки ваших документов. Тогда она отвечает по фактам, а не по памяти.

1. Режу документы на фрагменты и считаю эмбеддинги.
2. Складываю в векторную базу.
3. На вопрос ищу похожие фрагменты и кладу их в промпт.
4. Прошу отвечать только на основе предоставленного и честно говорить, если ответа нет.

Качество RAG решается не моделью, а нарезкой и поиском. Мусор на входе - мусор на выходе.