Confiance Jev

La confiance découle des probabilités

Pour un Choice, la distribution représente les probabilités de vos options. Pour un Score, elle couvre vos différents niveaux. Plus elle est uniforme, plus la confiance est faible. Une faible confiance pour un Choice signifie souvent qu’aucune option ne se détache clairement. Pour un Score, elle indique souvent que les niveaux sont ambigus ou multidimensionnels, ou que l’état ne fournit pas assez d’éléments.

TypeSafe présente la confiance comme indicateur pratique par défaut, sans vous l’imposer. Selon la décision, une autre synthèse de la distribution peut être plus adaptée. La documentation rassemble ces recettes dans un livre distinct et fournit toujours les probabilités avec chaque réponse Choice et Score, afin de ne pas vous enfermer dans une formule unique.

Les réponses Noul contiennent noul dans [0, 1], sans autre indicateur. Aucun champ confidence ne peut être reporté sur un Noul. Une valeur proche de 0.5 signifie que le modèle juge la question oui/non indécise. N’interprétez pas 0.5 comme une « intensité moyenne de demande de remboursement ». N’appliquez pas à noul un seuil de confiance prévu pour Choice et n’attendez pas que P(noul) + P(not noul) soit égal à 1 entre deux questions distinctes.

Trois voies dans votre code

Une bonne approche initiale consiste à définir trois plages. Confiance élevée : agir automatiquement. Confiance moyenne : avancer prudemment en demandant confirmation à l’utilisateur, en signalant le cas pour vérification ou en recueillant davantage d’état. Confiance faible : ne pas agir. Transmettre le cas à une personne, poser une question de clarification ou basculer vers un autre système. L’emplacement des seuils dépend des enjeux.

Un seuil de confiance ne peut pas être unique pour tout le produit. Afficher un écran de solde après une mauvaise détection d’intention reste réversible. Autoriser un retrait ne l’est pas. L’exemple de TypeSafe utilise 0.5 comme plancher d’incertitude, puis exige >0.9 avant de confirmer et d’exécuter un virement, tandis qu’une intention de consultation du solde peut accepter un seuil inférieur. Votre code encode la tolérance au risque. Jev ne fait que rapporter la distribution.

Un système intelligent qui ne peut pas exprimer honnêtement son incertitude n’est pas digne de confiance. Pour Choice et Score, la confiance constitue ce signal. Associez-la aux limites de jaggedness : formulation littérale, calculs dans le code et aucune génération. Un résultat Choice très sûr produit à partir d’une instruction mal rédigée reste une réponse assurée à la mauvaise question.

Noul face à Choice sur le même ticket

L’enregistrement de jaggedness de TypeSafe sur les invariants de bon sens présente un ticket : « La coupe ne me convient pas. Quelles sont mes options ? » Un Noul demandant « Le client demande-t-il un remboursement ? » a renvoyé 0.22. Un Choice oui/non utilisant la même formulation a renvoyé les probabilités oui 0.01 / non 0.99, avec une confiance de 0.97. Les valeurs comparables sont noul et probabilities["yes"] ; elles ne sont pas interchangeables.

Sur un second ticket, deux valeurs Noul pour remboursement et absence de remboursement totalisaient 1.19. N’imposez pas au modèle des identités arithmétiques entre des questions distinctes. Un Choice portant sur plusieurs options est relatif : il détermine laquelle choisir. Chaque Noul est absolu et peut être faible pour toutes les options. Le livre de recettes sur les suggestions de compétences combine les deux : Choice choisit une compétence, tandis que les Noul déterminent s’il faut en suggérer une.

Lorsque vous branchez des seuils décisionnels, indiquez la primitive dans le tableau. « 0.8 » ne signifie rien sans préciser une confiance Choice de 0.8 pour department ou une valeur Noul de 0.8 pour urgency. Journalisez la primitive, la clé, les probabilités brutes et l’identifiant versionné du modèle jev-1.13.0, afin qu’un changement ultérieur d’alias ne recalibre pas silencieusement vos seuils de production.

Exploitation des seuils décisionnels

Conservez toutes les probabilités, pas seulement l’argmax et l’indice scalaire de confiance. Lorsqu’un Choice semble erroné, l’option arrivée en deuxième position fournit souvent la piste de débogage. Lorsqu’un Score hésite entre plusieurs niveaux, la distribution indique si la légende est ambiguë ou si l’état est vide.

Recalibrez après chaque changement d’identifiant de modèle. jev-latest peut évoluer. Un seuil de 0.9 pour jev-1.13.0 ne garantit rien pour la prochaine version officielle. Pendant une semaine, conservez un journal parallèle des décisions qu’aurait prises le nouvel identifiant avant de basculer les alias de production.

Les actions à fort enjeu doivent exiger à la fois une étiquette et un seuil minimal de confiance, puis une confirmation au niveau du produit. L’exemple de virement de TypeSafe utilise 0.5 comme plancher d’incertitude et 0.9 avant l’exécution. Reprenez la structure, pas nécessairement les valeurs. Votre politique de remboursement et celle de bannissement en jeu n’auront pas le même seuil. Dans le guide d’exploitation, inscrivez les valeurs à côté du nom de la primitive.

Ne cachez pas les probabilités à l’équipe d’astreinte. Un tableau de bord qui n’affiche qu’une confiance verte ou rouge ne montrera pas que yes et no se sont inversés alors que la confiance est restée élevée. La distribution est la donnée de référence ; l’indice scalaire calculé par TypeSafe n’est qu’une commodité.

Pour une question oui/non, une valeur Noul proche de 0.5 exprime honnêtement « je ne sais pas ». Aucun champ confidence ne peut lui être associé. Si vous avez besoin d’un second axe, posez une autre question ou ajoutez un Choice couvrant yes/no/not-sure avec des critères explicites, en acceptant qu’il s’agisse d’un autre indicateur que noul.

Tracez chaque semaine la confiance par clé de question. Une dérive lente vers 0.5 signifie que les critères ne correspondent plus aux tickets. Un pic vers 1.0 dans une file bruitée signifie que les options se sont effondrées, pas que le monde est devenu plus simple.

Journalisez jev-1.13.0 à côté de chaque seuil afin qu’un changement d’alias ne puisse pas se dissimuler dans un graphique hebdomadaire.