AI में अनुमान प्रसंस्करण में एक क्लासिक बाधा है: मेमोरी से प्रोसेसर तक डेटा ले जाना। Untether AI Boqueria प्रस्तुत करता है, एक एक्सेलेरेटर जो इस गतिशीलता को तोड़ता है। इसका बड़े पैमाने पर समानांतर आर्किटेक्चर at-memory पर काम करता है, यानी ठीक वहीं जहां डेटा संग्रहीत होता है, जिससे ऊर्जा की खपत कम होती है और प्रति वाट प्रदर्शन बढ़ता है। यह जादू नहीं है, यह अच्छी तरह से सोची-समझी इंजीनियरिंग है।
Boqueria का at-memory आर्किटेक्चर कैसे काम करता है 🚀
Boqueria हजारों कंप्यूटेशन कोर को सीधे SRAM मेमोरी में एकीकृत करता है, जिससे बाहरी बसों के माध्यम से डेटा ले जाने की आवश्यकता समाप्त हो जाती है। प्रत्येक कोर सरल लेकिन समानांतर संचालन करता है, जो उच्च दक्षता के साथ तंत्रिका नेटवर्क मॉडल को संसाधित करने में सक्षम बनाता है। डेटा आवाजाही की विलंबता और ऊर्जा लागत को कम करके, यह चिप महंगी HBM मेमोरी या अत्यधिक शीतलन पर निर्भर हुए बिना अनुमान कार्यों में निरंतर प्रदर्शन प्राप्त करता है।
होशियार चचेरा भाई जिसे काम करने के लिए स्थानांतरित होने की आवश्यकता नहीं है 🏠
जहां अन्य एक्सेलेरेटर डेटा को प्रोसेसर के करीब लाने के लिए एक लॉजिस्टिक सर्कस खड़ा करते हैं, वहीं Boqueria वह साथी है जो घर से काम करता है। सचमुच, यह जानकारी को वहीं संसाधित करता है जहां वह रहती है। इसलिए यदि आपका GPU एक शोरगुल वाले और गर्म वैक्यूम क्लीनर जैसा लगता है, तो शायद आपको बदलाव पर विचार करना चाहिए। आखिरकार, गणना करने के लिए चिप के दूसरे छोर तक यात्रा करने की आवश्यकता नहीं है।