Jeton Sayacı
Yapay zeka modelleri için metninizdeki belirteçlerin sayısını tahmin edin.
Nasıl Kullanılır
1
Metninizi girin veya yapıştırın.
2
"Jetonları Say"a tıklayın.
3
Belirteçleri, maliyet tahminini ve bağlam kullanımını görüntüleyin.
Metin
Bu Araç Hakkında
Jetonlar Nedir?
Belirteçler, yapay zeka modellerinin metni işlemek için kullandığı temel birimlerdir. Belirteç bir kelime, kelimenin bir parçası veya noktalama işareti olabilir. İngilizce, jeton başına ortalama ~4 karakterdir.
Nasıl Çalışır?
Araç, ~4 karakter/jeton oranını kullanarak jetonları tahmin eder. GPT-4, 128K içerik belirteçlerini destekler. Maliyetler OpenAI fiyatlandırmasına göre hesaplanır.
Ortak Kullanımlar
- İstekleri göndermeden önce API maliyetlerini tahmin edin
- Metnin model bağlam sınırlarına uyup uymadığını kontrol edin
- Verimlilik için istemleri optimize edin
- Farklı metinlerdeki belirteç sayılarını karşılaştırın
- Uygulamalardaki token bütçelerini yönetin
İpucu: Arapça ve Asya dilleri, kelime başına İngilizce'den daha fazla belirteç kullanır. GPT-4 Turbo'nun maliyeti 10 ABD Doları/1 milyon giriş jetonudur.
Kaynaklar ve Referanslar
- OpenAI Belirteci — Doğru jeton sayımı için OpenAI'nin resmi aracı
- OpenAI Fiyatlandırması — Farklı model token kullanımına ilişkin fiyatlandırma ayrıntıları
Sıkça Sorulan Sorular
Belirteç, bir yapay zeka modelinin işlediği en küçük metin birimidir. Bu bir kelime, bir kelimenin bir kısmı veya bir noktalama işareti olabilir.
GPT-4 Turbo, kabaca 300 sayfalık bir kitaba eşdeğer olan 128.000'e kadar bağlam belirtecini destekler.
GPT-4 Turbo'nun maliyeti milyon giriş tokenı başına ~10$ ve çıkış tokenı başına ~30$'dır. Maliyetler modele göre değişir.
Her iki model de benzer tokenizasyon (BPE kodlaması) kullanıyor ancak GPT-4 Turbo 128K'ya kadar bağlam jetonlarını desteklerken GPT-3.5 Turbo 16K'yı destekliyor. Belirteç sayma yöntemi benzerdir ancak maliyetler ve bağlam sınırları önemli ölçüde farklılık gösterir.
Kısa ve öz yazarak, fazladan boşlukları kaldırarak, kısaltmalar kullanarak, tekrarlardan kaçınarak ve istemleri verimli bir şekilde yapılandırarak belirteçleri azaltabilirsiniz. Kod için küçültme, jeton sayısını önemli ölçüde azaltır.