1. Цена, скидка, гарантия и договорное исключение
Модель не утверждает новую цену, не продлевает срок и не обещает компенсацию вне опубликованного правила. Она собирает факты и зовёт уполномоченного человека.
Даже вежливая формулировка может создать ожидание клиента. Проверяйте смысл обещания, а не только тон.
2. Медицинские, юридические и финансовые решения
Общая справка по утверждённому материалу возможна, но диагноз, персональная правовая оценка, инвестиционный совет и решение о кредите требуют профильного процесса.
Передача должна происходить раньше, чем модель начинает уточнять чувствительные детали, которые ей не нужны.
3. Конфликт, претензия и угроза
ИИ может подтвердить получение сообщения и сообщить о передаче. Он не спорит, не признаёт юридическую ответственность и не обещает исход разбирательства.
Менеджер получает полный контекст и время обращения. Автоматические follow-up на время конфликта останавливаются.
4. Нет источника или данные расходятся
Если два прайса содержат разные цифры, нельзя выбирать более новый по догадке. Если товара нет в знаниях, нельзя строить ответ по похожему названию.
Система сообщает об отсутствии подтверждения и передаёт вопрос. Такой отказ полезнее уверенной ошибки.
5. Необратимые и внешние действия
Возврат денег, удаление данных, изменение заказа, отправка массового сообщения и доступ к аккаунту требуют allowlisted операции, проверки параметров и часто подтверждения человеком.
Свободный текст модели не должен превращаться в raw SQL, shell-команду или произвольный API-вызов.
Как записать правило передачи
Формулируйте наблюдаемое условие и действие: «если клиент просит скидку, которой нет в прайсе, не называй сумму; собери контакт и передай менеджеру с причиной discount_exception».
Укажите, какое короткое сообщение получает клиент и какие данные получает человек. Не ограничивайтесь фразой «будь осторожен».
- триггер;
- запрещённое действие;
- разрешённый ответ клиенту;
- поля уведомления менеджеру.
Как проверить границы
Создайте сценарии для каждого класса риска, включая косвенные формулировки и попытку уговорить систему нарушить правило. Проверьте ответ, причину и отсутствие внешнего действия.
Повторяйте тест после изменения знаний, модели или правил. Успех прошлой версии не переносится автоматически.
Источники
У каждой опоры есть дата проверки. Если источник изменится, материал нужно пересмотреть.
-
01
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile NIST · проверено 6 сентября 2026 г.
Использованы рекомендации о границах применения, оценке ответов, мониторинге и человеческом контроле генеративных систем.
-
02
LLM06:2025 Excessive Agency OWASP GenAI Security Project · проверено 6 сентября 2026 г.
Сверены принципы минимальных полномочий, ограниченных функций и подтверждения значимых действий человеком.
-
03
Creating helpful, reliable, people-first content Google Search Central · проверено 6 сентября 2026 г.
Сверены требования к самостоятельному полезному материалу, который отвечает на задачу человека, а не повторяет ключевые слова.
-
04
Учебный путь ИИ-сотрудника Нейроквалификатор · проверено 6 сентября 2026 г.
Сверены фактические роли, база знаний, проверка, каналы, Inbox и передача разговора человеку.