SambaNova präsentierte auf dem Hot Chips 2026 seinen Beschleuniger SN50, die fünfte Generation seiner rekonfigurierbaren Datenfluss-Einheit. Der Chip verdoppelt den SRAM des SN40 und verfünffacht die FLOPS, skalierbar auf bis zu 256 Knoten. Er behält jedoch HBM2e bei, einen Speicher im Niedergang. Für den Fachmann wird die Inferenz von Modellen wie DeepSeek V3 bei der Dekodierung optimiert und übertrifft die typischen Bandbreitenbeschränkungen von GPUs.
Datenfluss-Architektur: Der Trick, um den Engpass zu umgehen 🚀
Der SN50 konkurriert nicht um mehr rohe Bandbreite, sondern um Effizienz im Datenfluss. Durch die Verfünffachung der FLOPS und die Verdopplung des On-Chip-SRAM gelingt es ihm, die Modellgewichte nahe an der Recheneinheit zu halten und so die Abhängigkeit von externem Speicher zu reduzieren. Bei der Dekodierung, der kritischen Phase der generativen KI, ermöglicht dies deutlich höhere Token-pro-Sekunde-Raten als eine GPU mit vergleichbaren Spezifikationen. Die Skalierbarkeit auf 256 Knoten deutet auf ein System hin, das für dedizierte Cluster gedacht ist, nicht für heterogene Umgebungen.
HBM2e: Wie eine Diskette zu einem Formel-1-Rennen mitzubringen ⚠️
Die Entscheidung, HBM2e beizubehalten, weckt Neugier. Es ist, als würde man einen F1-Motor kaufen und Fahrradreifen montieren: Es funktioniert, aber das Potenzial bleibt in der Werkstatt. Während NVIDIA und AMD auf HBM3e und HBM4 migrieren, setzt SambaNova auf einen Speicher, den die Hersteller nicht mehr priorisieren. Vielleicht ist der SN50 ein Meisterwerk der Ingenieurskunst, aber seine Langlebigkeit wird davon abhängen, ob jemand weiterhin das Ersatzteil herstellt. Die Effizienz in der generativen KI hat ein Verfallsdatum, und dieser Speicher ist das Ticket.