Сначала поиск, затем ответ
В RAG система ищет подходящие фрагменты в подготовленных источниках и использует их как контекст для формирования ответа. Полезность зависит и от поиска, и от исходных документов, и от того, как модель использует найденное.
Источник должен быть доступен именно этому пользователю
Права необходимо учитывать до формирования контекста. Нельзя передавать закрытый документ модели и надеяться, что она сама скроет чувствительную часть. Ссылки в ответе также должны уважать доступы.
Обновление важнее разовой загрузки
Определите, как добавляются, меняются и удаляются документы. Если устаревшая версия остаётся в индексе, сервис может опираться на неверную информацию. Для противоречий нужен видимый способ уточнения.
Ссылки помогают проверять, но не гарантируют правильность
Даже найденный фрагмент может не поддерживать конкретный вывод. В тестах проверяют релевантность, соответствие ответа источнику и отказ при недостатке данных. RAG не устраняет все ошибки генерации.
Полезно для следующего шага
Опишите результат, который нужен бизнесу, и ограничения текущего процесса. Это поможет оценить необходимый объём.
Описать задачу