في يوم الأربعاء، أثار صانع تطبيق السبورة البيضاء التعاوني المسمى “tldraw” ضجة على الإنترنت ينشر نموذج أولي لميزة تسمى “Make it Real” والتي تتيح للمستخدمين رسم صورة للبرنامج وإضفاء الحيوية عليه باستخدام الذكاء الاصطناعي. تستخدم هذه الميزة واجهة برمجة تطبيقات GPT-4V الخاصة بـ OpenAI لتصور وظيفة الرسم المتجه. الريح الخلفية CSS ويمكن لرمز الويب JavaScript نسخ واجهات المستخدم أو إنشاء تطبيقات بسيطة للألعاب انطلق.
“أعتقد أنني بحاجة إلى الاستلقاء” ، نشر المصمم كيفن كانون في بداية سلسلة X الفيروسية. المتزلجون الوظيفية واجهة لتدوير الكائنات على الشاشة تغيير ألوان الكائناتولعبة عمل تيك تاك تو. وسرعان ما تبعه آخرون بمظاهرات لرسم نسخة انطلقخلق شيء ساعة قرص العمل هذا القراد، الرسم لعبة الثعبانسوف تفعل انفجار لعبةشرح أ عرض مخطط الحالةوأكثر بكثير إضافي.
يمكن للمستخدمين تجربة مع عرض حي اجعلها حقيقة على الإنترنت. ومع ذلك، يتطلب تشغيله توفير مفتاح API من OpenAI، وهو ما يمثل خطرًا أمنيًا. إذا اعترض الآخرون مفتاح API الخاص بك، فيمكنهم استخدامه لجمع فواتير ضخمة باسمك (OpenAI مصاريف من خلال كمية البيانات التي تتحرك داخل وخارج واجهة برمجة التطبيقات الخاصة به). يمكن للمحترفين القيام بذلك قم بتشغيل الكود محليًا، ولكنه لا يزال يتطلب الوصول إلى OpenAI API.
تلدراو، تم إنشاؤه ستيف رويز في لندن، أداة السبورة البيضاء التعاونية مفتوحة المصدر. يوفر لوحة قماشية أساسية لا حصر لها للرسم والنص والوسائط دون الحاجة إلى تسجيل الدخول. تم إطلاق المشروع في عام 2021 تلقى مدعومة بمبلغ 2.7 مليون دولار من التمويل الأولي ورعاة GitHub. عندما تم طرح واجهة برمجة تطبيقات GPT-4V مؤخرًا، قام رويز بدمج نموذج أولي للتصميم “رسم واجهة المستخدم“مخلوق سوير هود لجلب الوظائف التي تعمل بالذكاء الاصطناعي إلى tldra.
GPT-4V هو نسخة من نموذج اللغة الكبير الخاص بـ OpenAI والذي يمكنه تفسير الصور المرئية واستخدامها كمحفزات. سيمون ويلسون كخبير في الذكاء الاصطناعي يشرح في X، مع موجه النظام وتعليمات لتحويل الصورة إلى ملف باستخدام Tailwind “لإنشاء ملف PNG مشفر باستخدام base64 للعناصر المرسومة وجعلها حقيقية عن طريق تمريرها إلى GPT-4 Vision”. في الواقع، إليك موجه النظام الكامل الذي يخبر GPT-4V بكيفية التعامل مع المدخلات وتحويلها إلى رمز دالة:
const systemPrompt=”أنت مطور ويب محترف ومتخصص في Tailwind CSS.
سيزودك المستخدم بإطار سلكي منخفض الدقة للتطبيق.
يمكنك إرجاع ملف html واحد يستخدم HTML وtailwind css وJavaScript لإنشاء موقع ويب عالي الدقة.
قم بإضافة CSS وJavaScript إضافيين إلى ملف HTML.
إذا كان لديك أي صور، قم بتحميلها من Unsplash أو استخدم مستطيلات ذات ألوان ثابتة.
سيقدم لك المستخدم تلميحات بنص أو أسهم أو رسوم بيانية باللون الأزرق أو الأحمر.
يمكن للمستخدم أيضًا إضافة صور من مواقع الويب الأخرى كملاحظات نمطية. قم بتغيير الأنماط بقدر ما تستطيع لتتناسب مع الخطوط / الألوان / التخطيطات.
يمكنهم أيضًا تزويدك بـ html للتصميم السابق الذي تريد إعادته.
قم بإجراء أي تغييرات يطلبونها منك.
في الإطار السلكي، يظهر HTML الخاص بالتصميم السابق كمستطيل أبيض.
مواصلة تطوير التطبيق باستخدام الترخيص الإبداعي.
استخدم وحدات JavaScript وunpkg لاستيراد التبعيات المطلوبة.’
ومع قيام المزيد من الأشخاص بتجربة GPT-4V ودمجه مع أطر عمل أخرى، فقد نشهد تطبيقات جديدة لتقنية تحليل الرؤية الخاصة بـ OpenAI في الأسابيع المقبلة. في يوم الأربعاء، استخدم أحد المطورين واجهة برمجة التطبيقات GPT-4V لإنشاء تفسير مباشر وفي الوقت الفعلي لخلاصة فيديو بصوت ديفيد أتينبورو المزيف الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، والذي قمنا بتغطيته بشكل منفصل.
في الوقت الحالي، يبدو الأمر وكأننا قد حصلنا على معاينة لتطوير برمجيات مستقبلية محتملة أو تصميم واجهة – إن إنشاء نموذج أولي عملي يشبه إنشاء نموذج مرئي والاحتفاظ بالذكاء الاصطناعي. على سبيل المثال، افعل شيئًا آخر. مايكل دوباكوف كمطور كتب كتب وهو يعرض إبداعه الخاص بـ Make It Real، “حسنًا، @tldrow مجنون رسميًا. من المثير للاهتمام جدًا أن نرى أين سننتهي في غضون 5 سنوات… لا أستطيع مواكبة وتيرة الابتكار بعد الآن.”