Pewność Jev

Pewność wynika z prawdopodobieństw

Dla Choice rozkład obejmuje prawdopodobieństwa poszczególnych opcji. Dla Score obejmuje poziomy. Bardziej płaski rozkład oznacza niższą pewność. Niska pewność dla Choice często wskazuje, że żadna opcja nie wygrywa wyraźnie. W przypadku Score często oznacza to niejednoznaczne lub wielowymiarowe poziomy albo zbyt mało informacji w stanie.

TypeSafe podaje pewność jako wygólną wartość domyślną, ale jej nie narzuca. Zależnie od decyzji lepiej może sprawdzić się inny sposób sprowadzenia rozkładu do jednej wartości. Dokumentacja umieszcza te metody w osobnej książce przepisów, a każda odpowiedź Choice i Score nadal zawiera prawdopodobieństwa, więc nie ogranicza Cię jedna formuła.

Odpowiedzi Noul zawierają noul z przedziału [0, 1] i nic więcej. Nie ma pola confidence, które można skopiować do Noul. Wartość bliska 0.5 oznacza, że według modelu odpowiedź na pytanie tak/nie jest nierozstrzygnięta. Nie interpretuj 0.5 jako „średniego natężenia żądania zwrotu”. Nie przenoś progu pewności Choice na noul i nie oczekuj, że P(noul) + P(not noul) da 1 dla dwóch osobnych pytań.

Trzy ścieżki w kodzie

Dobrym punktem wyjścia są trzy zakresy. Wysoka pewność: działaj automatycznie. Średnia: zachowaj ostrożność — poproś użytkownika o potwierdzenie, oznacz do weryfikacji lub zbierz więcej danych o stanie. Niska: nie działaj. Przekaż sprawę człowiekowi, zadaj pytanie doprecyzowujące albo użyj innego systemu. Granice zakresów zależą od stawki.

Próg pewności nie jest jedną wartością dla całego produktu. Wyświetlenie salda po błędnym rozpoznaniu intencji można łatwo naprawić. Zatwierdzenia wypłaty — nie. Przykład TypeSafe używa 0.5 jako dolnej granicy rzeczywistej niepewności, a przy przelewie wymaga >0.9 przed potwierdzeniem i wykonaniem; sprawdzenie salda może mieć niższy próg. To kod określa tolerancję ryzyka. Jev tylko zwraca rozkład.

Jeśli inteligentny system nie potrafi uczciwie wyrazić niepewności, nie można mu ufać. Dla Choice i Score takim sygnałem jest poziom pewności. Uwzględniaj go razem z ograniczeniami jaggedness: dosłownym brzmieniem, obliczeniami w kodzie i brakiem generowania. Choice z wysoką pewnością, ale oparty na źle napisanej instrukcji, nadal jest pewną odpowiedzią na niewłaściwe pytanie.

Noul i Choice dla tego samego zgłoszenia

Rekord jaggedness należący do TypeSafe, dotyczący zdroworozsądkowych niezmienników, pokazuje zgłoszenie „Nie odpowiada mi dopasowanie. Jakie mam tutaj możliwości?”. Noul z pytaniem „Czy klient prosi o zwrot pieniędzy?” zwrócił 0.22. Choice typu tak/nie dla tego samego sformułowania zwrócił prawdopodobieństwa: tak 0.01 / nie 0.99, przy pewności 0.97. Porównywalne wartości to noul i probabilities["yes"]; nie można ich stosować zamiennie.

Dla drugiego zgłoszenia suma dwóch Nouls — zwrot i brak zwrotu — wyniosła 1.19. Nie wymagaj od modelu zachowania tożsamości arytmetycznych między osobnymi pytaniami. Choice obejmujący opcje ma charakter względny — wskazuje, która opcja pasuje. Każdy Noul jest bezwzględny i może być niski dla wszystkich opcji. Książka przepisów dotycząca sugerowania umiejętności używa obu: Choice wybiera umiejętność, a Nouls określają, czy w ogóle ją sugerować.

Konfigurując progi decyzyjne, podaj nazwę Primitives w tabeli progów. „0.8” nic nie znaczy bez wyjaśnienia, że chodzi o pewność Choice równą 0.8 dla działu albo wartość Noul równą 0.8 dla pilności. Rejestruj Primitives, klucz, surowe prawdopodobieństwa i wersjonowany identyfikator modelu jev-1.13.0, aby późniejsza zmiana aliasu nie przestroiła po cichu progów produkcyjnych.

Obsługa progów decyzyjnych

Przechowuj pełny rozkład prawdopodobieństw, a nie tylko argmax i skalarną pewność. Gdy wynik Choice wygląda źle, druga opcja często podpowiada przyczynę. Gdy Score zatrzymuje się między poziomami, rozkład pokaże, czy skala jest niejednoznaczna, czy stan jest pusty.

Po każdej zmianie identyfikatora modelu dostrój progi ponownie. jev-latest może się zmieniać. Próg 0.9 dla jev-1.13.0 nie gwarantuje zachowania w następnym oficjalnym wydaniu. Przed przełączeniem aliasów produkcyjnych przez tydzień zapisuj równolegle, jakie decyzje podjąłby nowy identyfikator.

Działania wysokiego ryzyka powinny wymagać zarówno etykiety, jak i minimalnej pewności, a następnie potwierdzenia na poziomie produktu. Przykład przelewu TypeSafe używa 0.5 jako dolnej granicy niepewności i 0.9 przed wykonaniem. Naśladuj schemat, niekoniecznie liczby. Zasady zwrotów i blokowania graczy nie będą mieć wspólnego progu. W instrukcji operacyjnej zapisuj wartości obok nazwy Primitives.

Nie ukrywaj prawdopodobieństw przed zespołem dyżurnym. Panel pokazujący tylko zieloną lub czerwoną pewność nie ujawni, że odpowiedzi tak i nie zamieniły się miejscami, choć pewność pozostała wysoka. To rozkład jest właściwym wynikiem; wartość skalarna stanowi wygodny dodatek obliczany przez TypeSafe.

Wartość Noul bliska 0.5 to uczciwe „nie wiem” dla pytania tak/nie. Nie ma pola confidence, które można by do niej dołączyć. Jeśli potrzebujesz drugiej osi, zadaj drugie pytanie lub dodaj Choice obejmujący tak/nie/nie wiem z jawnymi kryteriami, pamiętając, że to inna statystyka niż noul.

Co tydzień wykreślaj pewność dla każdego klucza pytania. Powolne przesuwanie się ku 0.5 oznacza, że kryteria przestały pasować do zgłoszeń. Skok ku 1.0 w zaszumionej kolejce oznacza, że opcje się zlały, a nie że świat stał się prostszy.

Rejestruj jev-1.13.0 obok każdego progu, aby zmiana aliasu nie mogła ukryć się na wykresie tygodniowym.