Kepercayaan Jev

Keyakinan diturunkan dari probabilitas

Untuk Choice, distribusinya berupa probabilitas pada seluruh opsi Anda. Untuk Score, distribusinya tersebar pada seluruh tingkat Anda. Distribusi yang lebih datar berarti keyakinan lebih rendah. Keyakinan rendah pada Choice sering berarti tidak ada opsi yang jelas unggul. Keyakinan rendah pada Score sering berarti tingkatnya ambigu, multidimensi, atau state tidak memuat cukup informasi untuk dinilai.

TypeSafe menyajikan keyakinan sebagai standar praktis, bukan pilihan yang mengikat. Bergantung pada keputusannya, ringkasan distribusi lain mungkin lebih sesuai. Dokumentasi menaruh resep tersebut dalam panduan terpisah dan tetap menyertakan probabilitas pada setiap jawaban Choice dan Score agar Anda tidak terpaku pada satu rumus.

Jawaban Noul memuat noul dalam [0, 1] dan hanya itu. Tidak ada kolom confidence yang dapat disalin ke Noul. Nilai mendekati 0.5 berarti model menyatakan pertanyaan ya/tidak tersebut belum pasti. Jangan tafsirkan 0.5 sebagai "intensitas pengembalian dana sedang." Jangan terapkan ambang keyakinan Choice pada noul, dan jangan mengharapkan P(noul) + P(not noul) sama dengan 1 pada dua pertanyaan terpisah.

Tiga jalur dalam kode Anda

Pola awal yang berguna terdiri dari tiga rentang. Keyakinan tinggi: bertindak otomatis. Keyakinan sedang: lanjutkan dengan hati-hati—konfirmasikan kepada pengguna, tandai untuk ditinjau, atau kumpulkan lebih banyak state. Keyakinan rendah: jangan bertindak. Teruskan kepada manusia, ajukan pertanyaan klarifikasi, atau beralih ke sistem lain. Penempatan batasnya bergantung pada tingkat risiko.

Ambang keyakinan bukan satu angka untuk seluruh produk. Menampilkan layar saldo setelah salah menafsirkan maksud masih dapat dipulihkan. Menyetujui penarikan tidak demikian. Contoh TypeSafe membagi pada 0.5 sebagai batas bawah ketidakpastian nyata, lalu mensyaratkan >0.9 sebelum konfirmasi dan eksekusi transfer, sedangkan maksud memeriksa saldo dapat dilanjutkan dengan ambang lebih rendah. Kode Anda menetapkan toleransi risiko. Jev hanya melaporkan distribusinya.

Jika sistem cerdas tidak dapat menyatakan ketidakpastian secara jujur, sistem itu tidak dapat dipercaya. Confidence menjadi sinyal tersebut bagi Choice dan Score. Padukan dengan batasan jaggedness: susunan kata literal, perhitungan dalam kode, dan tanpa pembuatan teks. Choice ber-confidence tinggi pada instruksi yang ditulis dengan buruk tetap merupakan jawaban yakin untuk pertanyaan yang keliru.

Noul dibandingkan dengan Choice pada tiket yang sama

Catatan jaggedness milik TypeSafe untuk invarian akal sehat menampilkan tiket "Saya tidak puas dengan ukurannya. Apa saja pilihan saya?" Sebuah Noul "Apakah pelanggan meminta pengembalian dana?" menghasilkan 0.22. Choice ya/tidak dengan susunan kata yang sama menghasilkan probabilitas ya 0.01 / tidak 0.99 dengan confidence 0.97. Angka yang dapat dibandingkan adalah noul dan probabilities["yes"], dan keduanya tidak dapat saling dipertukarkan.

Pada tiket kedua, dua Noul untuk pengembalian dana dan bukan pengembalian dana berjumlah 1.19. Jangan menuntut model memenuhi identitas aritmetika antarpertanyaan terpisah. Choice atas sekumpulan opsi bersifat relatif (opsi mana). Setiap Noul bersifat absolut dan dapat bernilai rendah untuk semua opsi. Panduan saran keahlian memakai keduanya: Choice untuk memilih keahlian, Noul untuk menentukan apakah keahlian perlu disarankan.

Saat memasang ambang keputusan, sebutkan Primitives dalam tabel ambang. "0.8" tidak berarti apa-apa kecuali Anda menjelaskan bahwa itu keyakinan Choice sebesar 0.8 untuk department, atau Noul sebesar 0.8 untuk urgency. Catat Primitives, kunci, probabilitas mentah, dan ID model berversi jev-1.13.0 agar perubahan alias berikutnya tidak diam-diam mengubah kalibrasi ambang produksi.

Mengoperasikan ambang keputusan

Simpan probabilitas lengkap, bukan hanya argmax dan skalar keyakinan. Jika Choice tampak keliru, opsi peringkat kedua sering menjadi petunjuk untuk debug. Jika Score tampak terjebak di antara beberapa tingkat, distribusinya menunjukkan apakah keterangannya ambigu atau state kosong.

Kalibrasikan ulang setelah setiap perubahan ID model. jev-latest dapat berpindah. Ambang 0.9 pada jev-1.13.0 bukan jaminan untuk rilis resmi berikutnya. Simpan log bayangan tentang hasil yang akan diberikan ID baru selama seminggu sebelum mengganti alias produksi.

Tindakan berisiko tinggi harus mensyaratkan label sekaligus batas bawah keyakinan, lalu konfirmasi pada tingkat produk. Contoh transfer TypeSafe memakai 0.5 sebagai batas bawah ketidakpastian dan 0.9 sebelum eksekusi. Tiru polanya, tidak harus angkanya. Kebijakan pengembalian dana dan kebijakan pemblokiran pemain Anda tidak akan memakai ambang yang sama. Tulis angkanya di samping nama Primitives dalam panduan operasi.

Jangan sembunyikan probabilitas dari petugas siaga. Dasbor yang hanya menampilkan keyakinan hijau/merah tidak akan menunjukkan bahwa ya dan tidak bertukar posisi sementara keyakinan tetap tinggi. Distribusi adalah artefak utamanya; skalar hanyalah nilai praktis yang dihitung TypeSafe di atasnya.

Noul yang mendekati 0.5 adalah pernyataan jujur "saya tidak tahu" untuk pertanyaan ya/tidak. Tidak ada kolom confidence yang dapat dilekatkan padanya. Jika memerlukan sumbu kedua, ajukan pertanyaan kedua atau tambahkan Choice atas ya/tidak/tidak-yakin dengan kriteria eksplisit, dan pahami bahwa statistiknya berbeda dari noul.

Buat grafik keyakinan mingguan untuk setiap kunci pertanyaan. Pergeseran perlahan menuju 0.5 berarti kriterianya tidak lagi sesuai dengan tiket. Lonjakan menuju 1.0 pada antrean yang bising berarti opsi-opsinya menyusut, bukan berarti keadaan dunia menjadi lebih sederhana.

Catat jev-1.13.0 di samping setiap ambang agar perubahan alias tidak tersembunyi dalam grafik mingguan.