State untuk Jev

Bentuk yang valid

State paling sederhana adalah string biasa: "Kartu saya ditagih dua kali." Gunakan string jika kasusnya terdiri dari satu teks. Gunakan objek JSON jika Anda memiliki field bernama, catatan terkait, atau state aplikasi, misalnya pesan beserta ID pesanan. Gunakan larik teks untuk urutan pesan atau catatan. Dalam Python, teruskan string, dict, atau list yang sesuai ke client.system_one(state=...).

Halaman state milik TypeSafe menyarankan objek untuk sebagian besar permintaan agar setiap bagian memiliki nama deskriptif. Percakapan dukungan, pesanan dengan dua tagihan yang telah diproses, dan kebijakan pengembalian dana dapat ditempatkan dalam satu objek. Semuanya tetap satu state. Satukan informasi terkait jika keputusan perlu membandingkan bagian-bagian tersebut. Jangan menyembunyikan pertanyaan kedua dalam nama field.

Jev hanya menerima teks. State harus berupa string, objek JSON, atau larik nilai teks. Gambar, audio, dan video tidak didukung. Bahasa Inggris adalah bahasa pelatihan utama; bahasa lain, termasuk aksara CJK, diterima dengan akurasi lebih rendah. Lihat kartu model untuk catatan bahasa tersebut, dan jangan masukkan piksel ke permintaan—konversikan dahulu menjadi field.

Pisahkan konten dari pertanyaan

State memuat konten dan fakta pendukung. Pertanyaan menentukan penilaian. Simpan permintaan pengembalian dana dan kebijakan dalam state, lalu tanyakan apakah pelanggan meminta pengembalian dana dan apakah kebijakan mendukungnya. Jika pertanyaan ditempelkan ke dalam blob state, Jev tetap menjawab field instruksi, sehingga prompt terduplikasi di tempat yang menghabiskan anggaran 32k untuk state plus pertanyaan terpanjang.

State besar yang penuh detail tidak relevan merupakan mode kegagalan yang terdokumentasi untuk jev-1.13. Akurasi menurun karena konten yang tidak terkait menjadi pengalih perhatian, dan blob yang membengkak menyulitkan pelacakan field penyebab jawaban salah. Filter dahulu dalam kode. Kirim hanya field yang diperlukan pertanyaan. Jika pemfilteran tidak memungkinkan, Noul dapat menilai relevansi kutipan sebelum penilaian utama, seperti dalam panduan klasifikasi kutipan RAG milik TypeSafe.

Panjang konteks dibatasi. Jev 1.13 mengizinkan 64k token untuk seluruh permintaan dan 32k untuk state ditambah pertanyaan terpanjang. fan-out spekulatif mengemas banyak pertanyaan pendek untuk satu state yang ringkas. Cara ini lebih murah dan akurat daripada melampirkan seluruh riwayat tiket ketika Anda hanya memerlukan pesan terakhir pelanggan dan dua baris tagihan.

Catatan dukungan sebagai keadaan

Objek yang didokumentasikan memakai ticket.subject, ticket.messages sebagai pasangan from/text, order.id, order.charges dengan amount dan status, serta refund_policy berupa kalimat. Kasus tagihan ganda kemudian menjadi sekumpulan Noul dan Choice atas objek tersebut, bukan percakapan yang harus mengulang kebijakan. Kode Anda sudah mengetahui nominalnya; Jev menilai apakah bahasanya meminta pengembalian dana dan apakah kalimat kebijakan itu berlaku.

Untuk loop permainan seperti Doom, state merupakan teks terstruktur yang menggambarkan dunia, bukan frame. Demo TypeSafe mengirimkan teks tersebut dengan laju sekitar 10 kueri per detik. Untuk Wikiracing, state terdiri dari halaman dan tautan kandidat. Untuk asisten rumah pintar, state terdiri dari ucapan pengguna dan daftar perangkat yang sudah tersimpan dalam memori. Tidak satu pun demo tersebut mengirim piksel ke Jev.

Jika suatu bidang di basis data Anda berupa angka, kirim kategori bernama atau angka hasil perhitungan bila penilaiannya bersifat semantis ("apakah warna ini terkesan sebagai peringatan"), dan tetap lakukan perhitungan heksadesimal dalam kode. jev-1.13 kurang baik membaca triplet RGB dan nilai heksadesimal dibandingkan nama warna berbahasa Inggris. Saran yang sama berlaku untuk tanggal: ekstrak komponennya dengan Choice, lalu bandingkan dalam kode.

Batas kapasitas dan bahasa

Jendela permintaan 64k mencakup keadaan beserta semua pertanyaan. Jendela 32k mencakup keadaan beserta satu pertanyaan terpanjang. Memasukkan seluruh PDF kebijakan sepanjang 20k ke keadaan menyisakan sedikit ruang bagi peta pertanyaan dan juga memicu kegagalan akibat detail tak relevan. Lakukan pengambilan informasi terlebih dahulu, lalu kirim dua paragraf yang diperlukan untuk penilaian.

Akurasi saat ini paling baik dalam bahasa Inggris. Jika tiket Anda berbahasa Jepang atau Korea, jalankan sampel, buat grafik keyakinan Noul dan Choice, serta tetap libatkan manusia sampai histogramnya menyerupai hasil bahasa Inggris. Model tetap menerima teks tersebut; model tidak akan diam-diam menolak CJK.

Larik teks ditujukan untuk urutan, bukan untuk menyelundupkan skema kedua. Jika memerlukan bagian bernama, gunakan objek. Jika memerlukan satu blok, gunakan string. Mencampurkan URL gambar ke dalam string tidak memberi kemampuan penglihatan kepada Jev; itu hanya memberi Jev token URL yang dapat disalahartikan. Ambil dan deskripsikan gambar melalui worker Anda, lalu kirim deskripsinya.

Jika suatu bidang hanya digunakan untuk log Anda, jangan masukkan ke keadaan. ID pertanyaan sudah menyediakan kunci penggabungan. Keadaan seharusnya berisi bukti yang akan dibaca panel manusia. Disiplin ini juga menjaga Anda tetap dalam batas 32k untuk keadaan beserta pertanyaan terpanjang saat utas tiket panjang.

Bidang bernama lebih baik daripada pengodean yang rumit. order_id, charges[].status, refund_policy mudah dibaca oleh Anda maupun Jev. Satu string gabungan berisi fakta yang sama memang diperbolehkan, tetapi lebih buruk. Objek tiket dukungan yang didokumentasikan adalah templatnya: ticket, order, policy, lalu pertanyaan yang merujuk nama-nama tersebut.

Hapus PII yang tidak diperlukan untuk penilaian. Permintaan pelanggan tidak digunakan untuk melatih Jev, tetapi log Anda sendiri tetap menyimpannya. State yang lebih kecil sekaligus menjadi perbaikan jaggedness dan kebiasaan menjaga privasi.

Larik teks adalah urutan, bukan kumpulan slot bernama. Jika memerlukan nama, gunakan objek.