transformers v5.19.0: EmbeddingGemma2، router logits لـ MoE، تغييرات EP
الإصدار v5.19.0 يضيف EmbeddingGemma2 لتضمينات متعددة الوسائط، يجعل نماذج MoE تُرجع router logits عند output_router_logits=True، يُحدّث expert parallelism والتعامل مع الكاش، ويغير داخليات attention/continuous-batching.
ما الذي تغير
أضيف EmbeddingGemma2؛ نماذج MoE الآن تُرجع router logits عندما output_router_logits=True؛ الافتراضي لـ expert parallelism هو token-dispatch لنماذج Qwen3 MoE وMellum؛ إصلاحات في الكاش وتكوينات الكاش لكل طبقة.
لماذا يهم
يجب على مستخدمي MoE تعديل الشيفرة للتعامل مع مخرجات router-logit الجديدة؛ مهندسو التضمين والاسترجاع يمكنهم تقييم متجهات EmbeddingGemma2 متعددة الوسائط ذات البعد 768؛ قد تحتاج البنية التحتية إلى تعديل كود attention وCB.
لمن يهم
المطورونالباحثونالشركات
يستحق التجربة
نعم — استخدم EmbeddingGemma2 للتضمينات متعددة الوسائط ذات البعد 768؛ إصلاحات MoE والكاش تؤثر على الاستدلال.