Bir AI agent'ı güvenmeden önce nasıl test edersiniz?
Bir AI agent'ı test etmek için ona işinizden, doğru sonucunu zaten bildiğiniz gerçek örnekler verin ve karşılaştırın. AI agent, talepleri ayırmak ya da cevap taslakları yazmak gibi görevleri yapay zekayla yürüten bir programdır. Aynı istek her seferinde biraz farklı sonuç verebileceği için onu tek bir denemeyle değil, bütün bir örnekler kümesiyle değerlendirin.
Hızlı bir deneme neden test değildir
Çoğu ajan, iki üç istek yazıp cevapları okuyarak "test edilir". İyi görünür ve ajan işe başlar.
Bu, bir tezgahtarı tek bir cana yakın müşteriye hizmet verirken izleyip işe almaya benzer. Asıl sınav, şikayeti olan müşteri, aynı anda iki şey isteyen müşteri ve siparişi bulunamayan müşteridir. Ajanlar nadiren tipik örneklerde başarısız olur. Yarım doldurulmuş formda, iki isteği olan e-postada ve listenizde iki kez geçen müşteride başarısız olurlar. Gerçek bir test, üzerinde düşünmek istemeyeceğiniz örnekleri de içerir.
Beş adımlık bir test planı
- "Doğru"nun ne demek olduğunu söyleyin. Yazın. Talepleri ayıran bir ajan için: doğru kategori ve doğru aciliyet. Bir cevap taslağı için: doğru bilgiler, samimi bir üslup ve şirketin tutamayacağı bir söz olmaması.
- Gerçek örnekler toplayın. Son birkaç aydan yirmi otuz tane alın. Sıradan olanları zor olanlarla karıştırın. Doğru cevabın "bunu yapamam, bir kişi bakmalı" olduğu birkaç örnek ekleyin.
- Önce beklenen sonucu yazın. Ajan çalışmadan önce her örnek için iyi bir iş arkadaşının ne yapacağını not edin. Önce ajanın cevabına bakarsanız onu kabul etmeye meyledersiniz.
- Bütün örnekleri çalıştırın ve her birini işaretleyin. Doğru, kabul edilebilir ya da yanlış. Her yanlış sonuç için nedenini bir satırla ekleyin.
- Tek bir şeyi değiştirin ve hepsini yeniden çalıştırın. Bir örnek için yapılan düzeltme çoğu zaman bir başkasını bozar. Bunu yalnızca tam küme gösterir.
İnsanların eklemeyi unuttuğu örnekler
- Boş ya da yarım doldurulmuş bir form
- Başka bir dilde bir istek
- Tek mesajda iki istek
- Kurallarınızdan birine aykırı bir istek
- Listenizde iki kez geçen bir müşteri
- Ajana emirler vermeye çalışan bir mesaj
Neyin geçer sayılacağı
Tek bir sayı yok. Ajanın işine ne olduğuna bağlı. Çıkmadan önce her taslağı bir kişi okuyorsa, yanlışlar kolay fark edildiği sürece bazı "kabul edilebilir" sonuçlar sorun değildir. Ajan kimse kontrol etmeden hareket ediyorsa çok daha fazla doğru sonuç gerekir ve kalan hataları zararsız ve geri alınması kolay olmalıdır.
Sayının yanında hatanın türüne de bakın. On beceriksiz cümle, yanlış bir tutardan daha az önemlidir.
Test örneklerini saklayın
Oluşturduğunuz koleksiyon faydalı kalır. Ajanın talimatlarını her değiştirdiğinizde yeniden çalıştırın. Ajan günlük işte bir şeyi her yanlış yaptığında o örneği ekleyin.
Testten güvene
Testi geçmek tam serbestlik anlamına gelmez. Her sonucu bir kişinin onayladığı bir düzenle başlayın. Kişinin ne sıklıkla düzeltme yapması gerektiğini izleyin. Sonra ajana adım adım daha fazla serbestlik verin. Test, ajanın gözetim altında çalışmaya hazır olduğunu söyler. Gözetimli haftalar ise buna ne zaman daha az ihtiyaç duyduğunu söyler.
Worknano bunu nasıl çözüyor
Worknano'da bir ajanı Config altında, Agents bölümünde düzenlersiniz. Orada talimatlarını, araçlarını ve yapay zeka modelini ayarlarsınız. Bir varyantı denemek için bir ajanı kopyalayıp talimatlarını değiştirin. Bir ajanı bir kayıttaki düğmeden ya da seçili kayıtların bütün bir listesinde bir seferde çalıştırabilirsiniz; bu, gerçek test örneklerinden oluşan bir küme için uygundur. Kayıtlardaki değişiklikler onaylamanız için önizleme olarak gelir. Ürün rehberi bu makaleyle aynı tavsiyeyi verir: birkaç gerçek kayıtta test edin, modeli değiştirmeden önce talimatları ayarlayın.
- Kendi ajanınızı kurun, talimatlar için bir kontrol listesiyle
- Config'te bir ajan nasıl düzenlenir
- AI agent'lar: nerede çalışır ve ne üretir
Ücretsiz bir workspace oluşturun ve bir ajanı kendi otuz örneğiniz üzerinde çalıştırın.