Yapay zekada token nedir? Basit bir anlatım
Yapay zekada token nedir? Token'lar, bir yapay zekanın okuduğu ve yazdığı küçük metin parçalarıdır. Bir token genellikle kısa bir kelime ya da uzun bir kelimenin bir parçasıdır. Token'lar bir işletme için önemlidir, çünkü yapay zeka kullanımı, elektriğin birimle faturalanması gibi, onlarla ölçülür, sınırlanır ve faturalanır.
Yapay zeka neden kelimeyle değil token ile sayar?
Bir yapay zeka cümleleri bizim gibi bütün olarak okumaz. Başlamadan önce metniniz küçük parçalara kesilir ve her parça bir token'dır. Cevap da aynı şekilde, parça parça üretilir.
Kısa ve yaygın kelimeler tek token'dır. Daha uzun ya da nadir kelimeler iki üç parçaya bölünür. Noktalama işaretleri ve sayılar da sayılır.
Bir token ne kadar metindir?
İngilizce için kullanışlı bir pratik kural var: 100 token yaklaşık 75 kelimedir. Dolu bir sayfa metin kabaca 500 ila 700 token eder.
Kural yalnızca yaklaşıktır. Diğer diller aynı anlam için çoğu zaman daha fazla token gerektirir. Tablolar, uzun sayılar ve web adresleri de düz cümlelerden fazla token kullanır.
Okumak da yazmak da sayılır
- Girdi token'ları, yapay zekanın okuduğu her şeydir: sorunuz, ilettiğiniz belgeler ve bir sohbette şimdiye kadarki bütün konuşma.
- Çıktı token'ları, yapay zekanın geri yazdığı her şeydir.
Sağlayıcılar genellikle çıktı için girdiden daha fazla ücret alır. Uzun bir cevap da daha geç gelir, çünkü yazılacak daha çok token vardır.
Uygulamalı bir örnek: bir sözleşmeyi özetlemek
Bir yapay zekadan 3.000 kelimelik bir tedarikçi sözleşmesini 150 kelimede özetlemesini istediğinizi varsayalım.
| İsteğin bölümü | Kelime | Token, yaklaşık |
|---|---|---|
| Sorunuz | 20 | 30 |
| Sözleşme | 3.000 | 4.000 |
| Yazdığı özet | 150 | 200 |
| Toplam | yaklaşık 4.230 |
İki şey dikkat çekiyor. Toplamın neredeyse tamamını sözleşme oluşturuyor. Ne gönderdiğiniz, soruyu nasıl ifade ettiğinizden çok daha önemli. Ve aynı sohbette sonra “Geç teslimatı hangi madde kapsıyor?” diye sorarsanız sözleşme yeniden okunur. İkinci soru, birincisi kadar tutar.
Token'lar siz fark etmeden nerede kullanılır?
- Uzun sohbetler. Her yeni mesaj, öncekilerin hepsini de taşır.
- Küçük bir soru için bütün dosyalar. Tek bir tarihi bulmak için kırk sayfa gönderilir.
- Birkaç adımda çalışan yapay zeka. Her adım, kendinden önceki adımların sonuçlarını okur.
Daha az token kullanmanın dört yolu
- Belgenin tamamını değil, önemli olan kısmı gönderin.
- Konu değiştiğinde yeni bir sohbet başlatın.
- İhtiyacınız olan uzunluğu isteyin. “Üç madde” açık uçlu bir sorudan daha ucuza gelir.
- Basit sabit bir kuralın halledebileceği adımlar için yapay zeka kullanmayın.
Token'ları kendiniz saymak zorunda mısınız?
Hayır. Sayıyı neyin belirlediğini bilmek yeterli: yapay zekanın ne kadar okuması ve ne kadar yazması gerektiği. Yapay zeka ürünlerini karşılaştırırken ikisini de nasıl küçük tuttuklarını sorun.
Worknano bunu nasıl ele alıyor?
Worknano, yapay zeka az okusun ve doğru şeyi okusun diye kurulmuştur. AI Assistant ve ajanlar, metni anlamına göre bulan bir arama olan anlamsal aramayı kullanır. Belgelerin tamamını okumak yerine yalnızca önemli bölümleri okur ve cevaplarını onlardan verir. İçeriğinizi aranabilir yapmak ve içinde arama yapmak, yapay zeka kredilerinizi tüketmez. Her ajanın kendi model ayarı vardır, böylece kısa kontroller hızlı bir modelde çalışabilir. Paketin fiyatı şirket başınadır, kullanıcı başına asla değil; bu yüzden ekip arkadaşı eklemek faturayı değiştirmez.
- Worknano hangi yapay zeka modelini kullanıyor?
- Erken erişimde fiyatlandırma nasıl işliyor
- Anlamsal arama: yalnızca önemli bölümler
Ücretsiz bir workspace oluşturun ve kendi belgeleriniz hakkında bir soru sorun.