ความมั่นใจของ Jev

ค่าความเชื่อมั่นคำนวณจากค่าความน่าจะเป็น

สำหรับ Choice การกระจายคือค่าความน่าจะเป็นของตัวเลือกต่าง ๆ ส่วน Score คือการกระจายตามระดับ ยิ่งการกระจายราบเรียบ ค่าความเชื่อมั่นยิ่งต่ำ ค่าความเชื่อมั่นต่ำของ Choice มักหมายถึงไม่มีตัวเลือกใดชนะชัดเจน ส่วนค่าต่ำของ Score มักหมายถึงระดับกำกวม มีหลายมิติ หรือ state มีข้อมูลไม่เพียงพอต่อการตัดสิน

TypeSafe แสดงค่าความเชื่อมั่นเป็นค่าเริ่มต้นที่สะดวก ไม่ได้บังคับให้ใช้เพียงสูตรเดียว การสรุปการกระจายด้วยวิธีอื่นอาจเหมาะกับการตัดสินใจมากกว่า เอกสารจึงแยกสูตรเหล่านั้นไว้ในตำราสูตร และยังส่งค่าความน่าจะเป็นมากับคำตอบ Choice และ Score ทุกครั้ง เพื่อไม่ให้คุณติดอยู่กับสูตรเดียว

คำตอบ Noul มีค่า noul ในช่วง [0, 1] เท่านั้น ไม่มีฟิลด์ค่าความเชื่อมั่นให้คัดลอกไปใส่ Noul ค่าที่ใกล้ 0.5 หมายถึงโมเดลยังตัดสินคำถามใช่/ไม่ใช่ไม่ได้ อย่าตีความ 0.5 ว่าเป็น "ระดับความเข้มข้นของการขอคืนเงินปานกลาง" อย่านำเกณฑ์ค่าความเชื่อมั่นของ Choice มาใช้กับ noul และอย่าคาดว่า P(noul) + P(not noul) จะเท่ากับ 1 เมื่อมาจากคำถามสองข้อที่แยกกัน

สามเส้นทางในโค้ดของคุณ

รูปแบบเริ่มต้นที่ใช้ได้ดีคือแบ่งเป็นสามช่วง ค่าความเชื่อมั่นสูง: ดำเนินการอัตโนมัติ ค่าปานกลาง: ดำเนินการอย่างระมัดระวัง โดยยืนยันกับผู้ใช้ ทำเครื่องหมายให้ตรวจทาน หรือรวบรวม state เพิ่ม ค่าต่ำ: อย่าดำเนินการ ให้ส่งต่อถึงคน ถามคำถามเพื่อความชัดเจน หรือย้อนใช้ระบบอื่น จุดแบ่งแต่ละช่วงขึ้นอยู่กับความเสี่ยง

เกณฑ์ค่าความเชื่อมั่นไม่ควรเป็นเลขเดียวสำหรับทั้งผลิตภัณฑ์ การแสดงหน้าจอยอดคงเหลือหลังตีความเจตนาผิดยังแก้ไขได้ แต่การอนุมัติถอนเงินไม่ใช่เช่นนั้น ตัวอย่างของ TypeSafe ใช้ 0.5 เป็นขอบล่างของความไม่แน่นอนอย่างแท้จริง จากนั้นต้องมากกว่า >0.9 จึงจะยืนยันและดำเนินการโอน ขณะที่เจตนาตรวจสอบยอดคงเหลือใช้เกณฑ์ต่ำกว่าได้ โค้ดของคุณเป็นตัวกำหนดระดับความเสี่ยงที่ยอมรับ ส่วน Jev เพียงรายงานการกระจาย

หากระบบอัจฉริยะไม่สามารถแสดงความไม่แน่นอนอย่างตรงไปตรงมา ก็ไม่อาจเชื่อถือระบบนั้นได้ ค่าความมั่นใจคือสัญญาณดังกล่าวสำหรับ Choice และ Score ควรใช้ร่วมกับข้อจำกัดของ jaggedness ได้แก่ ถ้อยคำตามตัวอักษร คำนวณด้วยโค้ด และไม่สร้างเนื้อหา ต่อให้ Choice มีความมั่นใจสูง แต่หากคำสั่งเขียนไม่ดี ก็ยังเป็นเพียงคำตอบที่มั่นใจต่อคำถามที่ผิด

เปรียบเทียบ Noul กับ Choice ในทิกเก็ตเดียวกัน

ระเบียน jaggedness ของ TypeSafe สำหรับกฎคงที่ตามสามัญสำนึกแสดงทิกเก็ตว่า "ฉันไม่พอใจกับความพอดี มีทางเลือกอะไรบ้าง?" เมื่อใช้ Noul ถามว่า "ลูกค้ากำลังขอคืนเงินหรือไม่?" ได้ผลลัพธ์ 0.22 ส่วน Choice แบบใช่/ไม่ใช่กับข้อความเดียวกันให้ความน่าจะเป็น ใช่ 0.01 / ไม่ใช่ 0.99 และค่าความมั่นใจ 0.97 ตัวเลขที่นำมาเทียบกันได้คือ noul และ probabilities["yes"] ซึ่งใช้แทนกันไม่ได้

ในทิกเก็ตที่สอง Noul สองรายการสำหรับคืนเงินกับไม่คืนเงินรวมกันได้ 1.19 อย่าบังคับให้โมเดลรักษาเอกลักษณ์ทางคณิตศาสตร์ระหว่างคำถามที่แยกกัน Choice ที่มีหลายตัวเลือกเป็นค่าเชิงสัมพัทธ์ว่าเลือกข้อใด ส่วน Noul แต่ละรายการเป็นค่าสัมบูรณ์และอาจต่ำทุกตัวเลือก ตำราสูตรแนะนำทักษะใช้ทั้งสองแบบ: ใช้ Choice เลือกทักษะ และใช้ Noul ตัดสินว่าควรแนะนำทักษะใดเลยหรือไม่

เมื่อเชื่อมด่านตัดสินใจ ให้ระบุชื่อ Primitives ในตารางเกณฑ์ "0.8" ไม่มีความหมายหากไม่บอกว่าเป็นค่าความเชื่อมั่น 0.8 ของ Choice สำหรับ department หรือค่า 0.8 ของ Noul สำหรับ urgency ให้บันทึก Primitives, คีย์, ค่าความน่าจะเป็นดิบ และรหัสโมเดลระบุเวอร์ชัน jev-1.13.0 เพื่อไม่ให้การย้ายนามแฝงภายหลังปรับด่านระบบจริงใหม่โดยไม่รู้ตัว

การใช้งานด่านตัดสินใจ

เก็บค่าความน่าจะเป็นทั้งหมด ไม่ใช่เฉพาะ argmax และค่าความเชื่อมั่นสเกลาร์ เมื่อ Choice ดูผิดปกติ ตัวเลือกอันดับสองมักเป็นเบาะแสสำหรับดีบัก เมื่อ Score ดูค้างระหว่างระดับ การกระจายจะบอกได้ว่าคำอธิบายระดับกำกวม หรือ state ว่างเปล่า

ปรับเกณฑ์ใหม่ทุกครั้งที่เปลี่ยนรหัสโมเดล jev-latest อาจเปลี่ยนตำแหน่งได้ เกณฑ์ 0.9 ของ jev-1.13.0 ไม่ใช่คำรับรองสำหรับรุ่นทางการถัดไป เก็บบันทึกเงาว่ารหัสใหม่จะให้ผลอย่างไรเป็นเวลา 1 สัปดาห์ก่อนสลับนามแฝงในระบบจริง

การกระทำที่มีความเสี่ยงสูงควรต้องผ่านทั้งป้ายกำกับและค่าความเชื่อมั่นขั้นต่ำ แล้วจึงยืนยันในระดับผลิตภัณฑ์ ตัวอย่างการโอนของ TypeSafe ใช้ 0.5 เป็นขอบล่างของความไม่แน่นอนและ 0.9 ก่อนดำเนินการ ให้ลอกรูปแบบ ไม่จำเป็นต้องลอกตัวเลข นโยบายคืนเงินกับนโยบายแบนผู้เล่นของคุณไม่ควรใช้เกณฑ์เดียวกัน เขียนตัวเลขไว้ข้างชื่อ Primitives ในคู่มือปฏิบัติงาน

อย่าซ่อนค่าความน่าจะเป็นจากทีมเวร แดชบอร์ดที่แสดงเพียงค่าความเชื่อมั่นสีเขียว/แดงจะไม่บอกว่า yes กับ no สลับกันทั้งที่ค่าความเชื่อมั่นยังสูง การกระจายคือหลักฐานจริง ส่วนค่าสเกลาร์เป็นเพียงค่าที่ TypeSafe คำนวณเพิ่มเพื่อความสะดวก

Noul ที่ใกล้ 0.5 คือการยอมรับอย่างตรงไปตรงมาว่าไม่รู้สำหรับคำถามใช่/ไม่ใช่ และไม่มีฟิลด์ค่าความเชื่อมั่นให้แนบ หากต้องการแกนที่สอง ให้ถามอีกคำถามหรือเพิ่ม Choice สำหรับ yes/no/not-sure พร้อม criteria ที่ชัดเจน และยอมรับว่านี่เป็นสถิติคนละแบบกับ noul

พล็อตค่าความเชื่อมั่นรายสัปดาห์แยกตามคีย์คำถาม การค่อย ๆ เคลื่อนไปหา 0.5 หมายถึง criteria ไม่ตรงกับทิกเก็ตอีกต่อไป ส่วนการพุ่งไปหา 1.0 ในคิวที่มีสัญญาณรบกวนหมายถึงตัวเลือกยุบรวมกัน ไม่ใช่โลกเรียบง่ายขึ้น

บันทึก jev-1.13.0 ไว้ข้างทุกเกณฑ์ เพื่อไม่ให้การย้ายนามแฝงซ่อนตัวอยู่ในกราฟรายสัปดาห์