Как оценить качество ответов ИИ-сотрудника

Соберите рубрику до теста

Определите обязательные и критические критерии. Ошибка приветствия не равна выдуманной цене или отсутствию handoff при конфликте.

Каждый критерий должен иметь наблюдаемое условие. «Ответ хороший» нельзя одинаково применить двумя проверяющими.

Шесть критериев одного ответа

Проверьте релевантность вопросу, опору на материал, полноту, ясность, соблюдение границ и правильный следующий шаг. Для каждого зафиксируйте passed, failed или not applicable.

Критическая ошибка делает весь сценарий непройденным независимо от красивого стиля.

• факт совпадает с опубликованным источником;
• нет неподтверждённого обещания;
• собраны только нужные поля;
• человек вызван по правилу;
• ответ понятен без внутреннего жаргона;
• следующий шаг выполним.

Из чего собрать тестовый набор

Используйте реальные типы вопросов без персональных данных, пограничные формулировки, неизвестные факты, возражения и попытки нарушить правило. Добавьте простой контрольный запрос.

Фиксированный набор позволяет сравнивать версии. Новые найденные ошибки добавляются отдельными регрессионными сценариями.

Что проверяет автоматика, а что человек

Автоматика может проверить наличие обязательного поля, запрещённой фразы, ссылки на источник и нужного статуса. Семантическую корректность и уместность сложного ответа подтверждает человек.

NIST рекомендует сочетать измерение с человеческой оценкой и учитывать границы теста. Один модельный судья не является абсолютной истиной.

Какие агрегаты полезны

Считайте долю пройденных сценариев, критические ошибки, причины handoff и регрессии относительно опубликованной версии. Рядом показывайте абсолютное число тестов.

Не сравнивайте модели по одному среднему баллу, если они ошибаются в разных критических местах.

Как использовать реальные диалоги

Оператор помечает исправление и причину. После проверки обезличенный паттерн становится новым тестом или предложением обновить знания.

Не обучайте систему автоматически на каждом ответе менеджера. Исправление может быть разовым исключением или содержать ошибку.

Когда версия готова к публикации

Все критические сценарии пройдены, источники доступны, handoff работает, а результат сохранён с версией. После публикации выполнен smoke в подключённом канале.

Стопроцентный тест не гарантирует отсутствие новых ошибок. Он подтверждает только пройденный набор и создаёт исходную точку мониторинга.