Начните с ограниченного класса вопросов
Хороший пилот имеет понятные источники и проверяемый ответ. Не стоит сразу поручать автоматике все обращения, особенно конфликтные или содержащие обязательства компании. Режим подсказок сотруднику может быть разумным первым шагом.
Подготовьте знания и правила
У документов должны быть владельцы и порядок обновления. Определите, какие вопросы нельзя закрывать автоматически, как сообщать о недостатке информации и кто принимает эскалацию.
Проверяйте не только красивые ответы
Включите в набор тестов неоднозначные вопросы, устаревшие документы, отсутствие источника и попытки получить закрытые данные. Оценивайте ошибки и передачу человеку, а не только скорость генерации.
Следите за работой после выпуска
Обратная связь и примеры неудачных ответов нужны для дальнейшей проверки. Изменение модели или базы знаний может поменять поведение. Нельзя считать однажды проведённую демонстрацию постоянной гарантией качества.
Полезно для следующего шага
Опишите результат, который нужен бизнесу, и ограничения текущего процесса. Это поможет оценить необходимый объём.
Описать задачу