Örüntüler ve fan-out

Yayımlanmış dört kalıp

Spekülatif fan-out: Spekülatif olanlar dâhil birçok soruyu tek çağrıda gönderin ve hangilerinin ilgili olduğuna kodunuz karar versin. TypeSafe'e göre bunun avantajları maliyet ve hızdır. Akıllı ev demosu, uygulamalı örnektir. "Evdeki tüm ışıkları kapat" komutu için ifadenin ışıklarla ilgili olduğunu henüz bilmeden eylem sorusu da dâhil olmak üzere kategori, alan, cihaz ve eylemi birlikte sorarsınız. Sıralı çağrılar beklemeyi gerektirirdi. Önemli olan, paralel değerlendirmeyi koddaki bir filtreyle birleştirmektir.

Güven eşikli yönlendirme: eyleme geçip geçmemek için güveni ikinci bir eksen olarak kullanın. Avantajları güvenilirlik ve emniyettir. Güven eşiği olmayan bir etiket, düz bir dağılımda tetiklenir. Choice veya Score sonucunu riskle orantılı eşiklerle eşleştirin ve Noul değerini ayrı bir eksende tutun.

Bileşik puanlama: bir yargıyı atomik puanlara ayırın ve ağırlıkları kodda birleştirin. Avantajları maliyet, güvenilirlik ve hızdır. Jev sisteminden tek bir dev 1-100 kalite puanı istemeyin. Score ile kanıtı, politikaya uygunluğu ve ciddiyeti ayrı ayrı değerlendirin, ardından toplayın. Niyet yönlendirme: niyeti sınıflandırıp mantığa, bir LLM'ye veya insana yönlendirin. Avantajları maliyet ve hızdır. Hangi işleyicinin çalışacağına Jev karar verir; yanıtı yazan işleyiciye dönüşmez.

Kullanım senaryosu haritasından örnek kararlar

TypeSafe'ın kullanım senaryosu haritası, ikinci bir temel bileşen kümesi yerine sektör örnekleri listeler. Müşteri desteği destek kayıtlarını sınıflandırır, aciliyeti ve iadeleri algılar, ardından kuyruklara yönlendirir. Sigorta hasarlarında FNOL notları sınıflandırılır ve yüksek riskli dosyalar üst kademeye aktarılır. Mali suç sistemleri uyarı açıklamalarını puanlar ve belirsiz KYC vakalarını yönlendirir. Hukuk ve uyum sistemleri eksik maddeleri ve yasaklı iddiaları saptar. E-ticaret pazar yerleri ilanları standartlaştırır ve sahtecilik sinyallerini işaretler.

Moderasyon, şirkete özel ölçütleri ciddiyet derecesiyle uygular. Reklamcılık, marka güvenliğini ve reklam ile açılış sayfası arasındaki uyumu denetler. Oyun sistemleri sohbeti denetler, hayal kırıklığını puanlar ve oyuncu desteğini yönlendirir. İşe alım, özgeçmişleri işle ilgili açık ölçütlere göre puanlar. Potansiyel müşteri bulma, profilleri bir ICP ile eşleştirir. Model yönlendirme, istemi hangi LLM'nin alacağını seçer. LLM güvenlik bariyerleri jailbreak, enjeksiyon ve politika ihlallerini algılar.

Arama ve getirme, sorgu ile aday arasındaki ilgiyi puanlar. Özellik çıkarımı, dili klasik ML için olasılıksal özelliklere dönüştürür. Risk değerlendirmesi, olay notlarını göstergelere çevirir. Grafikler ilişkileri sınıflandırır ve çelişkileri algılar. Anlamsal kod lint işlemi, CI içinde ekibe özel denetimler çalıştırır. Talep tahmini, niyet ve aciliyet özelliklerini çıkarır. Her satır bir karar biçimidir, barındırılan bir iş akışı değildir. Eyleme geçen kod yine size aittir.

Tek bir istemde değil, kodda birleştirin

Fan-out ile güvene dayalı yönlendirme, üretimde kullanılan olağan ikilidir: gerekenden fazla soru sorun, alakasız Noulları eleyin ve yalnızca Choice güveni yüksek eşiği aşınca otomatik işlem yapın. Tek bir Score üç farklı değerlendirmeyi gizleyecekse bunun altında bileşik puanlama kullanılır. Niyet yönlendirme ise isteğin kalanını Jev, bir LLM veya bir insanın göreceğine karar veren giriş kapısıdır.

evals.typesafe.ai üzerinde yayımlanan değerlendirme aileleri arasında Güvenlik Olayları, Ajan İzleme Gözlemlenebilirliği, Fatura İşleme ve Müşteri Hizmetleri bulunur. TypeSafe ana sayfasındaki 193.6x / 444.6x değerleri, bu iş akışı değerlendirmelerinin Astra ve Fable ortalamalarıyla karşılaştırılmasından gelir. Bunları bu vikinin yeniden ölçtüğü değerler olarak değil, TypeSafe tarafından yayımlanmış karşılaştırma olarak kullanın.

İhtiyacınız olan örüntü bu dört seçenek arasında yoksa temel bileşenler yine birleştirilebilir. Yeni kontrol akışını kendi deponuzda tutun. Belge dizinine eklenmesini istiyorsanız TypeSafe ekibine not iletin. TypeSafe adlandırılmış başka bir örüntü yayımlayana kadar ek birleşimler uygulama kodunda kalır.

İş akışı için örüntü seçme

Birden fazla soru aynı durumu paylaşıyor ve bazıları geçersiz olabiliyorsa işe speculative fan-out ile başlayın. Asistanlar, destek talebi botları ve santral gibi çalışan her şey için varsayılan yaklaşım budur. Bir yanıt iade, yasaklama, havale veya dağıtım gibi bir yan etkiyi tetikleyebiliyorsa hemen güven eşiğine bağlı yönlendirme ekleyin.

Tek bir Score birbirinden farklı boyutları karıştıracaksa bileşik puanlama kullanın. Kanıt kalitesi, politikaya uygunluk ve müşteri mağduriyetinin ciddiyeti üç ayrı Score olur; ardından ağırlıklı toplamı kendi kodunuzda hesaplarsınız. LLM veya insan kuyruğu da içeren karma bir sistemin sınırında niyet yönlendirme kullanın; böylece Jev hedefin işini yapmak yerine hedefi belirler.

Bu sayfadaki 18 örnek karar, ek uç noktalar değil, TypeSafe karar haritasıdır. Müşteri desteği, tazminat talepleri, koruma katmanları, arama ve oyun senaryolarının tümü hâlâ Choice, Score ve Noul ile POST /v1/systemone çağrısı yapar. Karar yapısını kopyalayın, ardından ölçütleri genel bir istem kitaplığından değil kendi politika metninizden yazın.

Varsayılan fan-out'tur. Bir etiket para harcayabiliyor veya kullanıcıyı yasaklayabiliyorsa güven eşikleri ekleyin. Tek bir açıklama farklı eksenleri karıştıracaksa Score değerlerini ayırın. LLM sınırına niyet yönlendirme koyun. Yayımlanmış örüntü kümesinin tamamı bu dört cümleden ibarettir.

Kullanım senaryosu haritası on sekiz API değil, on sekiz karar yapısıdır. Her satır yine POST /v1/systemone üzerinde bir veya daha fazla soruya dönüşür. Yapıyı kendi alanınıza uyarlayın, ardından ölçütleri politikanızdan yazın. Politikanızı yansıtmayan genel bir moderasyon istemi bu haritayla eşleşmez.

Spekülatif fan-out, TypeSafe'in öncelikle sunduğu yaklaşım olduğundan adı bu sayfanın H1 başlığıyla aynı olan kalıptır. Diğer üçü, tek çağrı döndükten sonra yanıtları kullanma yöntemleri olarak bunun altında yer alır.

18 örnek karar, ikinci bir ürün grubu değil yazılım yargıları oldukları için aynı aile adını, automation'ı paylaşır.