أنظمة التخزين المتوازي تغذي مجموعات الذكاء الاصطناعي والحوسبة عالية الأداء

أنظمة التخزين المتوازية تغذي مجموعات الذكاء الاصطناعي وHPC

لا يتعلق الأمر بمجرد SSD بسيط أو مصفوفة أقراص. نظام التخزين المتوازي هو حل شامل على مستوى appliance، مصمم خصيصًا للقضاء على العائق الرئيسي في بيئات الحوسبة الضخمة: الانتظار للبيانات. مهمته هي تغذية آلاف وحدات معالجة الرسوميات بشكل مستمر وفعال، مما يضمن أن هذه المعالجات لا تتوقف أبدًا عن عملها بسبب نقص المعلومات. 🚀

هندسة معمارية موزعة للتوسع دون حدود

أساس هذه الحلول هو هندسة معمارية موزعة تتوسع أفقيًا. بدلاً من وحدة تحكم واحدة، تستخدم عقدًا متعددة تعمل معًا. قلب النظام هو أنظمة الملفات المتوازية، مثل Lustre أو Spectrum Scale، التي تسمح لعدد كبير من الخوادم والعملاء بالوصول إلى البيانات وتعديلها في الوقت نفسه. لربط هذا النظام البيئي بأكمله، تُستخدم شبكات عالية السرعة، حيث تكون InfiniBand الخيار السائد بفضل زمن تأخيرها المنخفض وعرض النطاق الترددي الكبير لها.

• أنظمة الملفات المتوازية: برمجيات متخصصة تدير الوصول المتزامن إلى البيانات من نقاط متعددة.
• شبكات الترابط: InfiniBand أو Ethernet فائقة السرعة لنقل البيانات بين التخزين والمعالجات.
• وسائط تخزين هجينة: تجمع بين NVMe للأداء الاستثنائي وأقراص صلبة ذات سعة كبيرة، مما يحسن التكلفة والسرعة.

بينما تواجه وحدة NVMe استهلاكية صعوبة في الوصول إلى بعض الجيجابايت في الثانية، تنقل هذه الأنظمة مكتبات رقمية كاملة في الفترة الزمنية نفسها.

أداء يُقاس بتيرابايت في الثانية

المقياس الذي يعرف هذه المنصات هو عرض النطاق الترددي المجمع، القادر على تجاوز عدة تيرابايت في الثانية في عمليات القراءة والكتابة. هذا التدفق الضخم للبيانات هو ما يسمح بتدريب نماذج الذكاء الاصطناعي ذات التريليونات من المعاملات أو محاكاة الظواهر المناخية المعقدة دون أن يؤخر التخزين مجموعة الحوسبة. شركات مثل DDN مع منصتها EXAScaler أو VAST Data تقدم أجهزة تجمع كل البرمجيات والأجهزة اللازمة لنشر هذا المستوى من الأداء من اليوم الأول.

• تدريب الذكاء الاصطناعي على نطاق واسع: تغذية بيانات التدريب إلى آلاف وحدات معالجة الرسوميات دون انقطاع.
• المحاكاة العلمية (HPC): التعامل مع مجموعات البيانات الضخمة التي تولد وتستهلكها محاكيات ديناميكيات السوائل أو الجينوميات.
• التصيير وVFX: تقديم مشاهد معقدة إلى مزارع التصيير المكونة من مئات العقد في وقت واحد.

مستقبل الحوسبة المكثفة يعتمد على التخزين

تطور الذكاء الاصطناعي والحوسبة عالية الأداء مرتبط مباشرة بقدرة نقل البيانات. أنظمة التخزين المتوازية تتجاوز كونها مكونًا هامشيًا لتصبح عمود فقري مركز البيانات الحديث. من خلال ضمان أن وحدات معالجة الرسوميات مشغولة دائمًا، لا يتم تسريع الوقت اللازم للحصول على النتائج فحسب، بل يتم أيضًا تعظيم الاستثمار في أجهزة الحوسبة. عصر الذي تنتظر فيه المعالجات البيانات ينتهي نهائيًا. ⚡