Как проверить ИИ-сотрудника до первого разговора с клиентом

Сначала определите, что считается правильным ответом

Для каждого сценария нужен ожидаемый исход: ответить из материала, задать уточняющий вопрос, собрать поле или остановиться. Без такого эталона тест превращается во вкусовую оценку формулировок.

Отдельно отметьте фразы, которые сотрудник не имеет права произносить: неподтверждённая цена, гарантия результата, юридическое обещание или выдуманный срок.

Соберите набор из типовых и рискованных ситуаций

Нужны не двадцать вариантов приветствия, а разные классы поведения клиента. Один сообщает всё сразу, другой отвечает частично, третий меняет условия, четвёртый просит исключение, пятый требует человека.

Отдельно проверьте конфликтующие материалы, грубое сообщение и попытку заставить систему нарушить правила. Цель такого прогона не в том, чтобы модель всегда продолжала разговор. Правильным результатом часто будет остановка ответа и передача человеку.

• обычный вопрос по базе знаний
• неполные или противоречивые данные
• вопрос вне материалов
• просьба о скидке или гарантии
• грубость или попытка нарушить правила
• прямая просьба связать с человеком

Что делает автоматическая нейропроверка

Проверяющий ИИ играет клиента, получает ответ сотрудника и сопоставляет его с правилами и источниками. Он ускоряет первый прогон и показывает место сбоя. Это помощник проверки, а не доказательство абсолютной безопасности.

Нейроквалификатор использует фиксированный проверочный набор из 20 типовых и рискованных ситуаций. Система не придумывает этот набор заново для каждого запуска. Благодаря постоянному набору владелец может сравнить две версии сотрудника на одинаковых условиях.

Сообщения из проверки не отправляются реальным клиентам. Владелец видит ответ, использованный источник и отмеченный риск. Найденный дефект возвращается в Builder: нужно уточнить знание или правило, опубликовать новую версию и повторить тот же прогон.

Как исправлять ошибку, а не маскировать её

Если ответ неверен, сначала найдите причину: материала нет, два источника спорят, правило не задаёт границу или сотруднику дали лишнее полномочие. Переписывать одну красивую реплику недостаточно. Следующий похожий вопрос снова обнаружит тот же пробел.

После исправления сохраните новую версию, повторите 20 сценариев и отдельно проверьте исходный сбой вручную. Так у изменения появляется воспроизводимое доказательство, а не только ощущение, что ответ стал лучше.

Что проверить вручную перед каналом

Вручную пройдите минимум один положительный и два отрицательных сценария. В положительном ответ должен опираться на нужный материал. В первом отрицательном данных нет, поэтому система честно останавливается. Во втором клиент просит запрещённое обещание или действие, и диалог уходит человеку.

Затем проверьте передачу контекста менеджеру, сохранение диалога и поведение после перезапуска. Подключите тестовый Telegram-бот или виджет и убедитесь, что повторное сообщение не создаёт дубль. Только после этого открывайте реальный поток.