Wzorce i fan-out

Cztery opublikowane wzorce

Spekulatywny fan-out: wysyłaj wiele pytań w jednym wywołaniu, także tych zadanych na zapas, a w kodzie ustalaj, które są istotne. Według TypeSafe zaletami są niższy koszt i większa szybkość. Praktycznym przykładem jest demo inteligentnego domu. Dla polecenia „Wyłącz wszystkie światła w domu” nadal pytasz jednocześnie o kategorię, domenę, urządzenie i działanie — nawet o działanie, zanim wiesz, że wypowiedź dotyczy świateł. Wywołania sekwencyjne wymagałyby oczekiwania. Sednem jest równoległa ocena i filtrowanie wyników w kodzie.

Trasowanie z progiem pewności: traktuj pewność jako drugą oś decyzji o podjęciu działania. Korzyści to niezawodność i bezpieczeństwo. Etykieta bez progu pewności zadziała nawet przy płaskim rozkładzie. Połącz Choice lub Score z progami dostosowanymi do ryzyka, a Noul pozostaw na osobnej osi.

Punktacja złożona: rozbij ocenę na atomowe wyniki i połącz ich wagi w kodzie. Korzyści to koszt, niezawodność i szybkość. Nie proś Jev o jedną zbiorczą ocenę jakości 1-100. Oddzielnie Score materiał dowodowy, zgodność z zasadami i wagę problemu, a potem zsumuj wyniki. Trasowanie według intencji: sklasyfikuj intencję i skieruj ją do logiki, modelu LLM albo człowieka. Korzyści to koszt i szybkość. Jev wybiera uruchamiany moduł obsługi; nie staje się modułem piszącym odpowiedź.

Przykładowe decyzje z mapy zastosowań

Mapa zastosowań TypeSafe zawiera przykłady branżowe, a nie drugi zestaw elementów podstawowych. Obsługa klienta klasyfikuje zgłoszenia, wykrywa pilność i żądania zwrotu środków oraz trasuje kolejki. Ubezpieczenia klasyfikują notatki FNOL i eskalują sprawy wysokiego ryzyka. Systemy przeciwdziałania przestępczości finansowej oceniają opisy alertów i przekazują niejednoznaczne przypadki KYC. Systemy prawne i zgodności wykrywają brakujące klauzule i niedozwolone deklaracje. Platformy handlu elektronicznego normalizują oferty i oznaczają sygnały podróbek.

Moderacja stosuje kryteria właściwe dla firmy i uwzględnia wagę naruszeń. W reklamie sprawdza bezpieczeństwo marki oraz zgodność reklamy ze stroną docelową. W grach moderuje czat, ocenia frustrację i kieruje graczy do odpowiedniej pomocy. W rekrutacji ocenia CV według jasno określonych kryteriów związanych ze stanowiskiem. Przy pozyskiwaniu leadów dopasowuje profile do ICP. Trasowanie Model wybiera model LLM, który otrzyma prompt. Zabezpieczenia LLM wykrywają jailbreaki, wstrzykiwanie instrukcji i naruszenia zasad.

Wyszukiwanie i pobieranie danych ocenia zgodność zapytania z kandydatami. Ekstrakcja cech przekształca język w probabilistyczne cechy dla klasycznego uczenia maszynowego. Ocena ryzyka zamienia notatki o incydentach we wskaźniki. Grafy klasyfikują relacje i wykrywają sprzeczności. Semantyczna analiza statyczna kodu wykonuje w CI kontrole właściwe dla zespołu. Prognozowanie popytu wyodrębnia cechy intencji i pilności. Każdy wiersz opisuje formę decyzji, a nie hostowany proces. Kod wykonujący działanie nadal należy do ciebie.

Łącz decyzje w kodzie, nie w jednym prompcie

Rozgałęzianie połączone z trasowaniem według pewności to typowy duet produkcyjny: zadaj więcej pytań, niż potrzebujesz, odrzuć nieistotne Nouls, a automatyczne działanie podejmuj tylko wtedy, gdy pewność Choice przekroczy wysoki próg. Gdy pojedynczy Score ukrywałby trzy różne oceny, użyj pod spodem punktacji złożonej. Trasowanie intencji działa jako brama wejściowa, która decyduje, czy resztę żądania obsłuży Jev, LLM czy człowiek.

Rodziny ewaluacji opublikowane na evals.typesafe.ai obejmują incydenty bezpieczeństwa, obserwowalność śladów agentów, przetwarzanie faktur i obsługę klienta. Podane na stronie głównej TypeSafe wartości 193.6x / 444.6x pochodzą z tych ewaluacji przepływów pracy względem średnich Astra i Fable. Traktuj je jako opublikowane porównanie TypeSafe, a nie wynik ponownie zweryfikowany przez tę wiki.

Jeśli potrzebnego wzorca nie ma wśród tych czterech, nadal możesz łączyć Primitives. Nową logikę sterowania przechowuj we własnym repozytorium. Jeśli chcesz dodać ją do indeksu dokumentacji, prześlij informację do TypeSafe. Dodatkowe kompozycje pozostają w kodzie aplikacji, dopóki TypeSafe nie opublikuje kolejnego nazwanego wzorca.

Wybór wzorca do przepływu pracy

Zaczynaj od speculative fan-out, gdy kilka pytań korzysta z tego samego stanu, a część z nich może nie mieć zastosowania. To domyślny wybór dla asystentów, botów obsługujących zgłoszenia i wszystkiego, co przypomina centralę. Gdy tylko odpowiedź może wywołać efekt uboczny — zwrot środków, blokadę, przelew lub wdrożenie — dodaj kierowanie zależne od poziomu pewności.

Stosuj punktację złożoną, gdy pojedynczy Score mieszałby różne wymiary. Jakość dowodów, zgodność z zasadami i dotkliwość problemu klienta to trzy Scores, które następnie łączysz własną sumą ważoną. Trasowanie intencji umieść na obrzeżu mieszanego systemu, który obejmuje też LLM lub kolejkę dla ludzi, aby Jev wybierał miejsce docelowe, zamiast wykonywać jego zadanie.

18 przykładowych decyzji na tej stronie to mapa TypeSafe, a nie dodatkowe punkty końcowe. Obsługa klienta, roszczenia, zabezpieczenia, wyszukiwanie i gry nadal wywołują POST /v1/systemone z Choice, Score i Noul. Skopiuj strukturę decyzji, a kryteria opracuj na podstawie własnych zasad, nie ogólnej biblioteki promptów.

Rozgałęzianie jest ustawieniem domyślnym. Dodaj progi pewności, gdy etykieta może spowodować wydanie pieniędzy lub zablokowanie użytkownika. Rozdziel Scores, jeśli jedna legenda mieszałaby różne osie. Trasowanie intencji umieść na granicy z LLM. Te cztery zdania obejmują cały opublikowany zestaw wzorców.

Mapa zastosowań przedstawia osiemnaście struktur decyzji, a nie osiemnaście interfejsów API. Każdy wiersz nadal staje się co najmniej jednym pytaniem w POST /v1/systemone. Przenieś strukturę do swojej domeny, a następnie napisz kryteria na podstawie własnych zasad. Ogólny prompt moderacyjny, który nie odzwierciedla tych zasad, nie będzie pasować do tej mapy.

Spekulatywny fan-out to wzorzec, którego nazwa jest również nagłówkiem H1 tej strony, ponieważ TypeSafe przedstawia go jako pierwszy. Pozostałe trzy są jego podtypami i opisują sposoby wykorzystania odpowiedzi zwróconych po pojedynczym wywołaniu.

Osiemnaście przykładowych decyzji nosi wspólną nazwę rodziny, automation, ponieważ są ocenami dokonywanymi przez oprogramowanie, a nie drugą linią produktów.