ManualVLA: إطار يحسن التخطيط الروبوتي باستخدام الدليل المتعدد الوسائط
تتميز نماذج الرؤية-اللغة-الإجراء (VLA) بقدرتها على التعميم، لكنها تواجه صعوبات في المهام المعقدة التي تتطلب حالة هدف واضحة، مثل تجميع الهياكل أو إعادة ترتيب الكائنات. التحدي الرئيسي لها هو تنسيق التخطيط عالي المستوى مع التحكم الدقيق. لحل هذه المشكلة، يُقدم ManualVLA، إطار موحد يسمح لنموذج VLA باستنتاج العملية كيف من النتيجة ماذا، محولاً الأهداف المجردة إلى تسلسلات من الإجراءات القابلة للتنفيذ. 🤖
هندسة معمارية مع خبيرين وتفكير موجه
يستند ManualVLA إلى هندسة معمارية خليط من المحولات (MoT). بدلاً من رسم الإدراكات الحسية مباشرة إلى أوامر حركية، يقدم خطوة وسيطة حاسمة. أولاً، يولد خبير التخطيط أدلة وسيطة ومتعددة الوسائط. تدمج هذه الأدلة الصور والإشارات المكانية والتعليمات النصية. ثم، يوجه عملية سلسلة التفكير بالدليل (ManualCoT) هذه الأدلة نحو خبير الإجراء. يساهم كل خطوة في الدليل بشروط تحكم صريحة، بينما تكون تمثيلاتها الكامنة دليلاً ضمنياً للتحكم بدقة.
المكونات الرئيسية للنظام:- خبير التخطيط: يولد أدلة مفصلة تفكك المهمة النهائية إلى خطوات مفهومة وقابلة للتنفيذ.
- ManualCoT: آلية تفكير هيكلية تغذي معلومات الدليل إلى خبير تنفيذ الإجراءات.
- خبير الإجراء: يترجم تعليمات الدليل المتعددة الوسائط إلى حركات روبوتية دقيقة ومنسقة.
يحقق ManualVLA معدل نجاح متوسط أعلى بنسبة 32% من أفضل نموذج هرمي سابق في مهام تجميع LEGO وإعادة ترتيب الكائنات.
توليد بيانات التدريب تلقائياً
يتطلب تدريب خبير التخطيط كمية كبيرة من بيانات الأدلة، وجمعها يدوياً مكلف جداً. للتغلب على هذا العائق، طور الفريق مجموعة أدوات التوأم الرقمي المبنية على تقنية 3D Gaussian Splatting. تنتج هذه المجموعة بيانات أدلة عالية الدقة تلقائياً، مما يسمح بتدريب المخطط بكفاءة وقابلية للتوسع دون الاعتماد على تسميات بشرية واسعة.
مزايا مجموعة أدوات التوأم الرقمي:- إنشاء بيانات اصطناعية واقعية ومتنوعة لتدريب نماذج التخطيط المعقدة.
- تقليل الحمل والتكلفة المرتبطة بجمع بيانات العالم الحقيقي بشكل كبير.
- السماح باختبار وتحسين الأدلة في بيئة محاكاة قبل التنفيذ الفعلي.
الآثار والآفاق المستقبلية
لا يحسن هذا النهج فقط كيفية تخطيط وتنفيذ الروبوتات لمهام التحكم المعقدة، بل يبسط أيضاً عملية برمجتهم لاتباع التعليمات من الصفر. بإغلاق الفجوة بين الهدف النهائي والخطوات اللازمة لتحقيقه، يمثل ManualVLA تقدماً كبيراً نحو روبوتات أكثر استقلالية وقدرة. يؤسس الإطار نموذجاً جديداً حيث تكون توليد إجراءات واضحة مركزية لتحقيق تحكم روبوتي قوي وموثوق. 🧩