إعلان يسار
عداد التوكنات
قدّر عدد التوكنات في نصك لنماذج الذكاء الاصطناعي.
طريقة الاستخدام
1
أدخل أو الصق النص.
2
اضغط "عدّ التوكنات".
3
شاهد التوكنات والتكلفة واستخدام السياق.
النص
إعلان داخل المحتوى
عن هذه الأداة
ما هي التوكنات؟
التوكنات هي الوحدات الأساسية التي تستخدمها نماذج الذكاء الاصطناعي لمعالجة النص. قد تكون كلمة أو جزء كلمة أو علامة ترقيم. الإنجليزية ~4 أحرف/توكن.
كيف يعمل؟
تقدّر الأداة التوكنات بنسبة ~4 أحرف/توكن. GPT-4 يدعم 128K توكن سياق. التكاليف محسوبة حسب تسعير OpenAI.
استخدامات شائعة
- تقدير تكاليف API قبل الإرسال
- التحقق من حدود سياق النموذج
- تحسين الأوامر للكفاءة
- مقارنة التوكنات بين نصوص مختلفة
- إدارة ميزانية التوكنات في التطبيقات
معلومة: اللغات العربية والآسيوية تستهلك توكنات أكثر من الإنجليزية. GPT-4 Turbo بـ$10/مليون توكن إدخال.
مصادر ومراجع
- OpenAI Tokenizer — أداة OpenAI الرسمية لعدّ التوكنات بدقة
- OpenAI Pricing — أسعار استخدام توكنات النماذج المختلفة
الأسئلة الشائعة
التوكن أصغر وحدة نصية يعالجها نموذج الذكاء الاصطناعي. قد يكون كلمة أو جزء كلمة أو علامة ترقيم.
GPT-4 Turbo يدعم حتى 128,000 توكن سياق، ما يعادل تقريباً كتاب 300 صفحة.
GPT-4 Turbo بـ~$10 لكل مليون توكن إدخال و~$30 لكل مليون توكن إخراج. التكاليف تختلف حسب النموذج.
كلا النموذجين يستخدمان ترميزاً متشابهاً (BPE)، لكن GPT-4 Turbo يدعم حتى 128K توكن سياق بينما GPT-3.5 Turbo يدعم 16K. طريقة عدّ التوكنات متشابهة لكن التكاليف وحدود السياق تختلف بشكل كبير.
يمكنك تقليل التوكنات بالكتابة المختصرة، وإزالة المسافات الزائدة، واستخدام الاختصارات، وتجنب التكرار، وهيكلة المطالبات بكفاءة. للكود البرمجي، التصغير (minification) يقلل التوكنات بشكل ملحوظ.
أدوات أخرى قد تعجبك
إعلان يمين