Jev güveni

Güven, olasılıklardan türetilir

Bir Choice için dağılım, seçeneklerinizin olasılıklarından oluşur. Bir Score içinse düzeylerinizin dağılımıdır. Daha düz bir dağılım daha düşük güven demektir. Bir Choice için düşük güven çoğu zaman seçeneklerden hiçbirinin açık ara öne çıkmadığını gösterir. Bir Score için düşük güven ise genellikle düzeylerin muğlak ya da çok boyutlu olduğunu veya durumda karar vermeye yetecek bilgi bulunmadığını gösterir.

TypeSafe, güveni zorunlu bir yöntem değil, kullanışlı bir varsayılan olarak sunar. Karara bağlı olarak dağılımı başka şekilde tek değere indirgemek daha uygun olabilir. Dokümanlar bu tarifleri ayrı bir tarif kitabında tutar ve sizi tek bir formüle mahkûm etmemek için her Choice ve Score yanıtında olasılıkları yine sunar.

Noul yanıtları [0, 1] aralığında noul taşır ve bununla sınırlıdır. Bir Noul üzerine kopyalanacak confidence alanı yoktur. 0.5 civarındaki bir değer, modelin evet/hayır sorusunu belirsiz bulduğunu gösterir. 0.5 değerini "orta düzey iade yoğunluğu" olarak yorumlamayın. Choice güven eşiğini noul'a aktarmayın ve iki ayrı soruda P(noul) + P(not noul) toplamının 1 olmasını beklemeyin.

Kodunuzdaki üç yol

Üç aralık iyi bir başlangıç kalıbıdır. Yüksek güven: otomatik olarak harekete geçin. Orta güven: temkinli ilerleyin; kullanıcıdan onay alın, inceleme için işaretleyin veya daha fazla durum bilgisi toplayın. Düşük güven: harekete geçmeyin. Bir kişiye yönlendirin, açıklayıcı soru sorun veya başka bir sisteme geçin. Sınırları nerede çizeceğiniz risk düzeyine bağlıdır.

Güven eşiği, ürünün tamamı için tek bir sayı değildir. Niyetin yanlış anlaşılmasından sonra bakiye ekranı göstermek telafi edilebilir. Para çekme işlemini onaylamaksa edilemez. TypeSafe örneği, gerçek belirsizliğin alt sınırı olarak 0.5'te ayrım yapar; transferi onaylayıp gerçekleştirmeden önce >0.9 ister. Bakiye sorgulama niyeti ise daha düşük bir eşikle ilerleyebilir. Risk toleransını kodunuz belirler. Jev yalnızca dağılımı bildirir.

Akıllı bir sistem belirsizliğini dürüstçe ifade edemiyorsa ona güvenilemez. Güven düzeyi, Choice ve Score için bu sinyali sağlar. Bunu jaggedness sınırlarıyla birlikte kullanın: harfi harfine ifadeler, kod içinde matematik ve metin üretmeme. Kötü yazılmış bir talimatta yüksek güvenli bir Choice, yine de yanlış soruya güvenle verilmiş bir yanıttır.

Aynı destek kaydında Noul ile Choice karşılaştırması

TypeSafe'in sağduyuya dayalı değişmezler için tuttuğu jaggedness kaydında «Kalıbından memnun değilim. Burada hangi seçeneklerim var?» yazan bir destek kaydı bulunur. «Müşteri para iadesi mi istiyor?» şeklindeki bir Noul, 0.22 döndürdü. Aynı ifade için evet/hayır türündeki bir Choice, evet 0.01 / hayır 0.99 olasılıklarını ve 0.97 güven düzeyini döndürdü. Karşılaştırılabilir sayılar noul ile probabilities["yes"] değerleridir ve birbirlerinin yerine kullanılamazlar.

İkinci bir destek kaydında, iade ve iade değil için iki Noul toplamda 1.19 etti. Ayrı sorular arasında modelden aritmetik özdeşliklere uymasını beklemeyin. Seçenekler üzerindeki bir Choice görecelidir: hangi seçenek olduğunu belirler. Her Noul mutlak değerdir ve tüm seçeneklerde düşük olabilir. Beceri önerisi tarifinde ikisi de kullanılır: beceri seçmek için Choice, herhangi bir becerinin önerilip önerilmeyeceğine karar vermek için Nouls.

Eşikleri bağlarken eşik tablosunda Primitives adını belirtin. Bölüm için 0.8 Choice güveni mi, yoksa aciliyet için 0.8 Noul mi olduğunu yazmadığınız sürece "0.8" hiçbir şey ifade etmez. Primitives adını, anahtarı, ham olasılıkları ve sürümlü model kimliği jev-1.13.0'ı kaydedin; böylece sonraki bir takma ad değişikliği üretim eşiklerinizi fark ettirmeden yeniden ayarlamaz.

Eşikleri işletme

Yalnızca argmax ve güven skalerini değil, tüm olasılıkları saklayın. Bir Choice yanlış göründüğünde ikinci sıradaki seçenek çoğu zaman hata ayıklama ipucudur. Bir Score düzeyler arasında takılı kalmış görünüyorsa dağılım, açıklamanın muğlak mı yoksa durumun boş mu olduğunu gösterir.

Model kimliği her değiştiğinde eşikleri yeniden ayarlayın. jev-latest değişebilir. jev-1.13.0 üzerinde 0.9 eşiği, bir sonraki resmî sürüm için garanti değildir. Üretim takma adlarını değiştirmeden önce yeni kimliğin bir hafta boyunca ne yapacağını gölge günlüğünde tutun.

Yüksek riskli eylemler hem bir etiket hem de asgari güven düzeyi gerektirmeli, ardından ürün düzeyinde onay alınmalıdır. TypeSafe'ın transfer örneği, belirsizlik alt sınırı olarak 0.5'i ve işlemi gerçekleştirmeden önce 0.9'u kullanır. Sayıları değil, yapıyı kopyalayın. Para iadesi politikanızla oyun yasağı politikanız aynı eşiği paylaşmaz. Çalıştırma kılavuzunda sayıları Primitives adının yanına yazın.

Olasılıkları nöbetçi ekipten saklamayın. Yalnızca yeşil/kırmızı güven gösteren bir pano, güven yüksek kalırken evet ile hayırın yer değiştirdiğini size göstermez. Asıl çıktı dağılımdır; skaler ise TypeSafe'ın bunun üzerine hesapladığı kolaylıktır.

0.5 civarındaki Noul, evet/hayır için dürüst bir "bilmiyorum" yanıtıdır. Buna eklenecek bir confidence alanı yoktur. İkinci bir eksene ihtiyacınız varsa ikinci bir soru sorun veya açık ölçütlerle evet/hayır/emin değilim seçeneklerinden oluşan bir Choice ekleyin ve bunun noul'dan farklı bir istatistik olduğunu kabul edin.

Güveni her soru anahtarı için haftalık olarak grafiğe dökün. 0.5'e doğru yavaş bir kayma, ölçütlerin artık destek kayıtlarıyla eşleşmediğini gösterir. Gürültülü bir kuyrukta 1.0'a doğru sıçrama ise dünyanın basitleştiğini değil, seçeneklerin çöktüğünü gösterir.

Bir takma ad değişikliği haftalık grafikte gizlenemesin diye her eşiğin yanına jev-1.13.0'ı kaydedin.