Confianza de Jev

La confianza se deriva de las probabilidades

En un Choice, la distribución contiene las probabilidades de tus opciones. En un Score, contiene la distribución entre tus niveles. Cuanto más plana sea, menor será la confianza. Una confianza baja en un Choice suele indicar que ninguna opción destaca claramente. En un Score, suele indicar que los niveles son ambiguos o multidimensionales, o que el estado no aporta información suficiente.

TypeSafe ofrece la confianza como valor predeterminado práctico, no como una imposición. Según la decisión, puede convenirte resumir la distribución de otra forma. La documentación reúne esas fórmulas en un recetario aparte, pero sigue incluyendo las probabilidades en cada respuesta de Choice y Score para que no dependas de una sola fórmula.

Las respuestas de Noul incluyen noul en [0, 1] y nada más. No hay un campo confidence que puedas copiar a un Noul. Un valor cercano a 0.5 indica que el modelo no tiene clara la respuesta a la pregunta de sí o no. No interpretes 0.5 como «intensidad media de reembolso». No apliques a noul un umbral de confianza de Choice ni esperes que P(noul) + P(not noul) sea igual a 1 entre dos preguntas independientes.

Tres rutas en tu código

Un buen patrón inicial consta de tres intervalos. Confianza alta: actúa automáticamente. Confianza media: procede con cautela; confirma con el usuario, marca el caso para revisión o recopila más datos del estado. Confianza baja: no actúes. Deriva el caso a una persona, formula una pregunta aclaratoria o recurre a otro sistema. Los límites dependen de lo que esté en juego.

Un umbral de confianza no es una cifra única para todo el producto. Mostrar una pantalla de saldo tras interpretar mal una intención es recuperable; aprobar un retiro no. El ejemplo de TypeSafe usa 0.5 como límite mínimo de incertidumbre y exige >0.9 antes de confirmar y ejecutar una transferencia, mientras que una intención de consultar el saldo puede continuar con un umbral menor. Tu código define la tolerancia al riesgo. Jev solo informa la distribución.

Si un sistema inteligente no puede expresar incertidumbre con sinceridad, no es confiable. La confianza es esa señal para Choice y Score. Combínala con los límites de jaggedness: redacción literal, cálculos en código y nada de generación. Un Choice con alta confianza ante una instrucción mal redactada sigue siendo una respuesta segura a la pregunta equivocada.

Noul frente a Choice en el mismo ticket

El registro de jaggedness de TypeSafe sobre invariantes de sentido común muestra un ticket: «No estoy conforme con el ajuste. ¿Qué opciones tengo?». Un Noul con la pregunta «¿El cliente solicita un reembolso?» devolvió 0.22. Un Choice de sí/no con la misma redacción devolvió las probabilidades sí 0.01 / no 0.99, con una confianza de 0.97. Los valores comparables son noul y probabilities["yes"], y no son intercambiables.

En un segundo ticket, dos Nouls para reembolso y no reembolso sumaron 1.19. No exijas al modelo identidades aritméticas entre preguntas independientes. Un Choice entre varias opciones es relativo: indica cuál de ellas. Cada Noul es absoluto y puede ser bajo para todas las opciones. El recetario de sugerencias de habilidades usa ambos: Choice para elegir una habilidad y Nouls para decidir si debe sugerirse alguna.

Al implementar umbrales, indica la primitiva en la tabla. «0.8» no significa nada si no aclaras que es una confianza de 0.8 en Choice para department o un valor de 0.8 en Noul para urgency. Registra la primitiva, la clave, las probabilidades sin procesar y el ID de modelo versionado jev-1.13.0, para que un cambio posterior de alias no reajuste silenciosamente los umbrales de producción.

Operación de los umbrales

Guarda todas las probabilidades, no solo el argmax y el valor escalar de confianza. Cuando un Choice parece incorrecto, la segunda opción suele dar la pista para depurarlo. Cuando un Score parece atascado entre niveles, la distribución permite saber si la escala es ambigua o si el estado está vacío.

Reajusta los umbrales tras cualquier cambio de ID de modelo. jev-latest puede cambiar. Un umbral de 0.9 en jev-1.13.0 no garantiza nada sobre la siguiente versión oficial. Mantén durante una semana un registro paralelo de lo que habría hecho el nuevo ID antes de cambiar los alias de producción.

Las acciones de alto riesgo deben exigir tanto una etiqueta como un mínimo de confianza, seguidos de una confirmación en el producto. El ejemplo de transferencia de TypeSafe usa 0.5 como límite de incertidumbre y 0.9 antes de ejecutar. Copia la estructura, no necesariamente las cifras. Tu política de reembolsos y tu política de expulsiones del juego no usarán el mismo umbral. Anota las cifras junto al nombre de la primitiva en el manual operativo.

No ocultes las probabilidades al personal de guardia. Un panel que solo muestre la confianza en verde o rojo no revelará que sí y no se invirtieron mientras la confianza seguía alta. La distribución es el dato fundamental; el valor escalar es una comodidad que TypeSafe calcula a partir de ella.

Un Noul cercano a 0.5 es la forma sincera de decir «no lo sé» en una pregunta de sí o no. No hay ningún campo de confianza que puedas adjuntarle. Si necesitas un segundo eje, formula otra pregunta o añade un Choice entre sí/no/no estoy seguro con criterios explícitos, y acepta que es una estadística distinta de noul.

Grafica semanalmente la confianza de cada clave de pregunta. Una deriva lenta hacia 0.5 indica que los criterios ya no se ajustan a los tickets. Un salto hacia 1.0 en una cola ruidosa significa que las opciones colapsaron, no que el mundo se volvió más sencillo.

Registra jev-1.13.0 junto a cada umbral para que un cambio de alias no pueda pasar inadvertido en una gráfica semanal.