Độ tin cậy Jev

Độ tin cậy được suy ra từ xác suất

Với Choice, phân phối là xác suất giữa các tùy chọn của bạn. Với Score, đó là phân phối giữa các cấp độ. Phân phối càng phẳng thì độ tin cậy càng thấp. Độ tin cậy thấp ở Choice thường nghĩa là không tùy chọn nào thắng rõ ràng. Ở Score, nó thường nghĩa là các cấp độ mơ hồ, đa chiều hoặc trạng thái không chứa đủ thông tin để kết luận.

TypeSafe cung cấp độ tin cậy như giá trị mặc định tiện dụng, không bắt buộc bạn dùng duy nhất nó. Tùy quyết định, một cách rút gọn phân phối khác có thể phù hợp hơn. Tài liệu để các công thức đó trong cẩm nang riêng và vẫn trả xác suất trong mọi câu trả lời Choice và Score, nên bạn không bị giới hạn vào một công thức.

Câu trả lời Noul chứa noul trong [0, 1] và chỉ vậy. Không có trường confidence để sao chép sang Noul. Giá trị gần 0.5 nghĩa là mô hình cho rằng câu hỏi có/không chưa ngã ngũ. Đừng hiểu 0.5 là "mức độ đòi hoàn tiền trung bình". Đừng áp ngưỡng confidence của Choice cho noul, và đừng kỳ vọng P(noul) + P(not noul) bằng 1 giữa hai câu hỏi riêng biệt.

Ba hướng xử lý trong mã

Một mẫu khởi đầu hữu ích gồm ba khoảng. Độ tin cậy cao: tự động hành động. Độ tin cậy trung bình: tiến hành thận trọng — xác nhận với người dùng, đánh dấu để xem xét hoặc thu thập thêm trạng thái. Độ tin cậy thấp: không hành động. Chuyển cho nhân viên, hỏi thêm để làm rõ hoặc chuyển sang hệ thống khác. Ranh giới giữa các khoảng tùy thuộc mức độ rủi ro.

Ngưỡng độ tin cậy không phải một con số chung cho toàn bộ sản phẩm. Hiển thị màn hình số dư sau khi nhận sai ý định vẫn có thể khắc phục. Phê duyệt rút tiền thì không. Mẫu của TypeSafe dùng 0.5 làm ngưỡng sàn cho sự bất định thực sự, sau đó yêu cầu >0.9 trước khi xác nhận và thực thi chuyển khoản; còn ý định kiểm tra số dư có thể tiếp tục với ngưỡng thấp hơn. Mã của bạn thể hiện mức chấp nhận rủi ro. Jev chỉ báo cáo phân phối.

Nếu một hệ thống thông minh không thể thành thật biểu đạt mức độ bất định, hệ thống đó không đáng tin cậy. Độ tin cậy là tín hiệu này đối với Choice và Score. Hãy kết hợp nó với các giới hạn của jaggedness: diễn đạt theo nghĩa đen, xử lý phép toán bằng mã và không sinh nội dung. Một Choice có độ tin cậy cao nhưng dựa trên chỉ dẫn viết kém vẫn chỉ là câu trả lời chắc chắn cho sai câu hỏi.

Noul so với Choice trên cùng một phiếu hỗ trợ

Bản ghi jaggedness của TypeSafe về các bất biến theo lẽ thường hiển thị phiếu hỗ trợ "Tôi không hài lòng với độ vừa vặn. Tôi có những lựa chọn nào?" Một Noul với câu hỏi "Khách hàng có đang yêu cầu hoàn tiền không?" trả về 0.22. Một Choice có/không với cùng cách diễn đạt trả về xác suất có 0.01 / không 0.99, với độ tin cậy 0.97. Các giá trị có thể so sánh là noul và probabilities["yes"], nhưng chúng không thể dùng thay thế cho nhau.

Ở phiếu thứ hai, hai Noul cho hoàn tiền và không hoàn tiền có tổng bằng 1.19. Đừng buộc mô hình tuân theo các đẳng thức số học giữa những câu hỏi riêng biệt. Một Choice giữa các tùy chọn mang tính tương đối (chọn tùy chọn nào). Mỗi Noul là tuyệt đối và có thể thấp với mọi tùy chọn. Cẩm nang đề xuất kỹ năng dùng cả hai: Choice để chọn kỹ năng, Nouls để quyết định có nên đề xuất kỹ năng nào hay không.

Khi thiết lập các ngưỡng, hãy ghi rõ primitive trong bảng ngưỡng. "0.8" vô nghĩa nếu bạn không nói đó là confidence 0.8 của Choice cho department hay Noul 0.8 cho urgency. Hãy ghi nhật ký primitive, khóa, xác suất thô và ID mô hình có phiên bản jev-1.13.0, để việc đổi bí danh sau này không âm thầm điều chỉnh ngưỡng vận hành thực tế.

Vận hành các ngưỡng

Lưu toàn bộ xác suất, không chỉ argmax và giá trị confidence. Khi một Choice có vẻ sai, tùy chọn đứng thứ hai thường là manh mối gỡ lỗi. Khi một Score mắc kẹt giữa các cấp, phân phối sẽ cho biết thang mô tả đang mơ hồ hay trạng thái bị trống.

Điều chỉnh lại sau mọi thay đổi ID mô hình. jev-latest có thể thay đổi. Ngưỡng 0.9 trên jev-1.13.0 không phải cam kết cho bản phát hành chính thức tiếp theo. Hãy lưu nhật ký chạy bóng về những gì ID mới sẽ thực hiện trong một tuần trước khi chuyển bí danh dùng trong môi trường thực tế.

Hành động có rủi ro cao phải đồng thời yêu cầu nhãn và ngưỡng sàn độ tin cậy, sau đó có bước xác nhận ở cấp sản phẩm. Ví dụ chuyển khoản của TypeSafe dùng 0.5 làm ngưỡng sàn bất định và 0.9 trước khi thực thi. Hãy áp dụng cấu trúc, không nhất thiết sao chép con số. Chính sách hoàn tiền và chính sách cấm người chơi sẽ không dùng chung ngưỡng. Ghi các con số cạnh tên primitive trong sổ tay vận hành.

Đừng ẩn xác suất khỏi nhân viên trực ca. Bảng điều khiển chỉ hiện độ tin cậy xanh/đỏ sẽ không cho bạn biết có và không đã đảo ngược dù độ tin cậy vẫn cao. Phân phối mới là dữ liệu gốc; giá trị vô hướng chỉ là tiện ích do TypeSafe tính thêm.

Noul gần 0.5 là cách thành thật nói "không biết" cho câu hỏi có/không. Không có trường confidence để gắn vào nó. Nếu cần trục thứ hai, hãy đặt câu hỏi thứ hai hoặc thêm Choice cho có/không/không-chắc với tiêu chí rõ ràng, đồng thời chấp nhận đây là chỉ số khác với noul.

Vẽ biểu đồ confidence hằng tuần theo từng khóa câu hỏi. Xu hướng chậm về 0.5 nghĩa là tiêu chí không còn khớp với các phiếu. Mức tăng vọt về 1.0 trên hàng đợi nhiễu nghĩa là các tùy chọn đã co cụm, không phải thế giới trở nên đơn giản hơn.

Ghi jev-1.13.0 cạnh mọi ngưỡng để việc đổi bí danh không thể ẩn trong biểu đồ hằng tuần.