より大規模な人工知能モデルを訓練する競争では、データを驚異的な速度で移動させる必要があります。Broadcomは、AIクラスターにおけるレイテンシを最小限に抑えるために設計された400Gイーサネットアダプタ、Thor 2を発表しました。これはNetflixをより速く視聴するための発明ではなく、機械の思考が流れる高速道路です。
Thor 2の背後にあるアーキテクチャ 🚀
BCM57608は、ポートあたり400 Gbpsのイーサネット接続をサポートする高性能ネットワークコントローラを統合しています。そのアーキテクチャは、最適化されたパケット処理エンジンとRoCEv2などのテクノロジーサポートにより、エンドツーエンドのレイテンシを低減することに重点を置いています。高密度スイッチと連携するように設計されており、分散トレーニング中のGPU間通信におけるボトルネックを解消します。
あなたの家庭用ルーターが助けを求めるとき 😅
Thor 2が400ギガビットを難なく処理している間、あなたの家庭用ルーターはおそらく3つのYouTubeストリームとビデオ通話で息詰まっているでしょう。それはF1マシンとレンタルキックボードを比較するようなものです。次に接続が切れた時は、覚えておいてください。あなたのプロバイダーが1年かけて提供するよりも多くのデータを1秒で移動させるネットワークカードが存在するということを。