Уверенность Jev
Преобразуйте вероятности в пороги для выполнения, проверки или эскалации.
Ответы Choice и Score содержат распределение probabilities и показатель уверенности от 0 до 1. У Noul его нет. Уверенность определяется формой распределения: концентрация на одном исходе означает уверенный ответ, а разброс — неопределённый. TypeSafe рассчитывает уверенность автоматически, чтобы вы могли задавать пороги без вычислений, но полное распределение вероятностей всегда доступно для другой метрики. Код должен выполнять действие, отправлять на проверку или эскалировать на основе этих чисел.
Уверенность вычисляется по вероятностям
Для Choice распределение содержит вероятности ваших вариантов, а для Score — вероятности уровней. Чем равномернее распределение, тем ниже уверенность. Низкая уверенность для Choice часто означает, что среди вариантов нет явного победителя. Для Score она обычно указывает на неоднозначные или многомерные уровни либо на нехватку данных в состоянии.
TypeSafe предоставляет уверенность как удобную метрику по умолчанию, но не навязывает её. Для конкретного решения может лучше подойти другой способ свести распределение к одному числу. Такие формулы вынесены в отдельный сборник рецептов, а каждый ответ Choice и Score по-прежнему включает probabilities, поэтому вы не привязаны к одной формуле.
Ответы Noul содержат noul в диапазоне [0, 1], и на этом всё. Поля confidence, которое можно перенести в Noul, нет. Значение около 0.5 означает, что модель не определилась с ответом на вопрос «да или нет». Не трактуйте 0.5 как «среднюю интенсивность запроса на возврат». Не применяйте к noul порог уверенности Choice и не ожидайте, что P(noul) + P(not noul) будет равно 1 для двух отдельных вопросов.
Три ветви в коде
Удобная исходная схема состоит из трёх диапазонов. Высокая уверенность: действовать автоматически. Средняя: действовать осторожно — запросить подтверждение у пользователя, пометить для проверки или собрать больше данных о состоянии. Низкая: не действовать. Передать человеку, задать уточняющий вопрос или переключиться на другую систему. Границы зависят от цены ошибки.
Нельзя задать один порог уверенности для всего продукта. Ошибочно показать экран баланса из-за неверно распознанного намерения — поправимо. Одобрить вывод средств — нет. Пример TypeSafe использует 0.5 как нижнюю границу явной неопределённости, а для подтверждения и выполнения перевода требует >0.9; при этом проверку баланса можно выполнить с более низким порогом. Допустимый риск задаётся вашим кодом. Jev лишь сообщает распределение.
Если интеллектуальная система не умеет честно выражать неопределённость, ей нельзя доверять. Для Choice и Score таким сигналом служит уверенность. Учитывайте её вместе с ограничениями jaggedness: буквальными формулировками, вычислениями в коде и отсутствием генерации. Даже Choice с высокой уверенностью при плохо составленной инструкции остаётся уверенным ответом не на тот вопрос.
Noul и Choice для одного обращения
В записи jaggedness для TypeSafe с инвариантами здравого смысла показано обращение: «Меня не устраивает посадка. Какие у меня есть варианты?» На вопрос Noul «Клиент просит вернуть деньги?» получено 0.22. Choice с ответом «да/нет» при той же формулировке вернул вероятности: «да» 0.01 / «нет» 0.99 при уверенности 0.97. Сопоставлять можно значения noul и probabilities["yes"], но они не взаимозаменяемы.
Для второго обращения сумма двух Nouls — «возврат» и «не возврат» — составила 1.19. Не требуйте от модели соблюдения арифметических тождеств между отдельными вопросами. Choice сравнивает варианты относительно друг друга: какой из них подходит. Каждый Noul абсолютен и может быть низким для всех вариантов. В рецепте рекомендаций навыков используются оба подхода: Choice выбирает навык, а Nouls определяют, стоит ли вообще что-либо предлагать.
При настройке порогов указывайте примитив в таблице. «0.8» ничего не значит без уточнения: уверенность Choice 0.8 для department или значение Noul 0.8 для urgency. Записывайте в журнал примитив, ключ, исходные вероятности и версионный идентификатор модели jev-1.13.0, чтобы последующая смена псевдонима незаметно не перенастроила рабочие пороги.
Эксплуатация порогов
Храните полное распределение вероятностей, а не только argmax и скаляр уверенности. Если ответ Choice выглядит неверным, вариант на втором месте часто помогает найти причину. Если Score застрял между уровнями, распределение покажет, неоднозначна ли шкала или пусто ли состояние.
Перенастраивайте пороги после каждой смены идентификатора модели. jev-latest может измениться. Порог 0.9 для jev-1.13.0 ничего не гарантирует в следующем официальном выпуске. Перед переключением рабочих псевдонимов неделю ведите теневой журнал решений нового идентификатора.
Для действий с высокой ценой ошибки требуйте и метку, и минимальную уверенность, а затем подтверждение на уровне продукта. В примере перевода TypeSafe порог неопределённости равен 0.5, а выполнение требует 0.9. Заимствуйте схему, но не обязательно числа. У возвратов денег и блокировок в игре не будет общего порога. В регламенте указывайте числа рядом с названием примитива.
Не скрывайте вероятности от дежурной команды. Панель только с зелёным или красным индикатором уверенности не покажет, что «да» и «нет» поменялись местами при по-прежнему высокой уверенности. Главный результат — распределение, а скаляр лишь удобная надстройка, которую вычисляет TypeSafe.
Значение Noul около 0.5 — честное «не знаю» для вопроса «да или нет». Отдельного поля уверенности для него нет. Если нужна вторая ось, задайте второй вопрос или добавьте Choice с вариантами «да/нет/не уверен» и явными критериями, учитывая, что это другая метрика, не noul.
Еженедельно стройте график уверенности для каждого ключа вопроса. Медленное смещение к 0.5 означает, что критерии больше не соответствуют обращениям. Скачок к 1.0 в шумной очереди означает, что варианты схлопнулись, а не что мир стал проще.
Записывайте jev-1.13.0 рядом с каждым порогом, чтобы смена псевдонима не затерялась на недельном графике.
Источники