أصدرت Apple اليوم العديد من نماذج اللغات الكبيرة مفتوحة المصدر (LLMs) المصممة للتشغيل على الجهاز وليس من خلال الخوادم السحابية. يُطلق عليها اسم OpenELM (نماذج اللغة الفعالة مفتوحة المصدر)، وتتوفر برامج LLM معانقة مركز الوجهمجتمع لمشاركة كود الذكاء الاصطناعي.
المبينة في ورقة بيضاء [PDF]، يوجد إجمالي ثمانية نماذج OpenELM، أربعة منها تم تدريبها مسبقًا باستخدام مكتبة Cornet وأربعة نماذج مضبوطة للتعليمات. تستخدم Apple إستراتيجية قياس متعددة الطبقات تهدف إلى تحسين الدقة والكفاءة.
قدمت شركة آبل تعليمات برمجية وسجلات تدريب وإصدارات أكثر من النموذج المدرب النهائي، ويعتقد الباحثون وراء المشروع أنه سيؤدي إلى تقدم أسرع في مجال الذكاء الاصطناعي للغة الطبيعية و”نتائج أكثر موثوقية”.
OpenELM، نموذج لغة مفتوح متطور. يستخدم OpenELM إستراتيجية قياس الطبقة لتعيين المعلمات بكفاءة في كل طبقة من نموذج المحول، مما يؤدي إلى تحسين الدقة. على سبيل المثال، مع ميزانية معلمات تبلغ حوالي مليار معلمة، يُظهر OpenELM تحسنًا بنسبة 2.36% في الدقة مقارنةً بـ OLMo، في حين يتطلب عددًا أقل من الرموز المميزة للتدريب المسبق بمقدار 2x.
يختلف منشورنا عن الأساليب السابقة التي توفر فقط أوزان النماذج وكود الاستدلال والتدريب المسبق على مجموعات البيانات الخاصة، ويتضمن إطارًا كاملاً لتدريب وتقييم نماذج اللغة على سجلات التدريب ونقاط التفتيش المتعددة ومجموعات البيانات المتاحة للجمهور المضمنة مسبقًا. هياكل التدريب.
تقول شركة Apple إنها تطلق نماذج OpenELM “لتعزيز وإثراء مجتمع البحث المفتوح” بنماذج لغوية حديثة. إن مشاركة النماذج مفتوحة المصدر تمنح الباحثين طريقة لاستكشاف المخاطر والبيانات والتحيزات النموذجية. يمكن للمطورين والشركات استخدام النماذج كما هي أو إجراء تغييرات.
أصبحت المشاركة العلنية للمعلومات أداة مهمة لشركة Apple لتوظيف كبار المهندسين والعلماء والخبراء، لأنها توفر فرصًا للأوراق البحثية التي لا يمكن نشرها عادةً بموجب سياسات السرية الخاصة بشركة Apple.
لم تقدم Apple بعد هذه الأنواع من قدرات الذكاء الاصطناعي إلى أجهزتها، ولكن من المتوقع أن يتضمن iOS 18 العديد من ميزات الذكاء الاصطناعي الجديدة، وتشير الشائعات إلى أن Apple تخطط لتشغيل نماذجها اللغوية الكبيرة على الجهاز لأغراض الخصوصية.
