لذا الآن حيث سيكون هذا منطقيًا للاشتقاق، بالكاد تناسبنا كودير Qwen 3 كمي Q8 و Kimi K2 على H200s لدينا. لم تترك Kimi K2 @ Q8 أي مساحة لذاكرة الكاش للـ kv للسياق. هل يمكن أن تناسب هذه النماذج على مثيل واحد 8xB200؟ ربما، سنجرب ذلك هذا الأسبوع.

LL-2.1%
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 4
  • مشاركة
تعليق
0/400
HallucinationGrowervip
· 07-27 12:03
لماذا تفعل كل هذا بشكل معقد؟
شاهد النسخة الأصليةرد0
TerraNeverForgetvip
· 07-27 12:02
هذا التصفية القسرية كثيراً
شاهد النسخة الأصليةرد0
FadCatchervip
· 07-27 11:58
لماذا انتهى مساحة التخزين المؤقت kv هذه؟
شاهد النسخة الأصليةرد0
FloorSweepervip
· 07-27 11:46
بطاقات الرسوميات لا تتسع، ماذا يحدث؟
شاهد النسخة الأصليةرد0
  • تثبيت