AI推論処理には古典的なボトルネックが存在します。それは、メモリからプロセッサへデータを移動することです。Untether AIが発表したBoqueriaは、この力学を打ち破るアクセラレータです。その超並列アーキテクチャは、データが保存されている場所、つまりat-memoryで動作し、消費電力を削減し、ワットあたりの性能を向上させます。これは魔法ではなく、よく考え抜かれたエンジニアリングです。
Boqueriaのat-memoryアーキテクチャの仕組み 🚀
Boqueriaは、数千もの計算コアをSRAMメモリに直接統合し、外部バスを介したデータ移動の必要性を排除します。各コアは単純な演算を並列に実行し、ニューラルネットワークモデルを高効率で処理することを可能にします。データ移動によるレイテンシとエネルギー消費を最小限に抑えることで、このチップは高価なHBMメモリや極端な冷却に依存することなく、推論タスクにおいて持続的な性能を達成します。
仕事のために引っ越す必要がない賢いやつ 🏠
他のアクセラレータがデータをプロセッサに近づけるために物流サーカスを繰り広げる一方で、Boqueriaは自宅で仕事をする同僚のようなものです。文字通り、情報が存在する場所で処理を行います。つまり、あなたのGPUがうるさくて熱い掃除機のように感じられるなら、変更を検討する時かもしれません。結局のところ、計算をするためにチップの反対側まで旅をする必要はないのです。