Im Bereich des Hochleistungsrechnens gibt es eine klare Divergenz zwischen den Bedürfnissen der KI und denen der traditionellen Wissenschaft. Formate mit niedriger Präzision wie FP8, die nützlich für das Training neuronaler Netze sind, führen zu inakzeptablen Fehlern in physikalischen oder klimatischen Simulationen. Um diese Lücke zu schließen, entwickelt der Forscher Laslo Hunhold ein spezifisches Format, das numerische Genauigkeit priorisiert, ohne Leistung und Energieeffizienz zu vernachlässigen, die diese Berechnungen verlangen.
Die Entwicklung eines Standards für exaktes wissenschaftliches Rechnen ⚙️
Die Arbeit von Hunhold konzentriert sich darauf, ein Gleitkommaformat zu schaffen, das die Bitnutzung für den Bereich und die Präzision optimiert, die wissenschaftliche Modelle erfordern. Im Gegensatz zu KI-Formaten, die dynamische Präzision für Geschwindigkeit opfern, strebt dieser Vorschlag numerische Stabilität in langen Iterationen an. Das Ziel ist ein Design, das in spezialisierter Hardware integriert werden kann, den Energieverbrauch von Supercomputern reduziert, ohne die Zuverlässigkeit der Ergebnisse in kritischen Forschungen zu beeinträchtigen.
Wenn deine Klimasimulation lieber keine Ergebnisse 'halluziniert' 😅
Das ist verständlich. Während eine KI ein Bild von einer Katze mit sechs Beinen erzeugen kann und niemand sich wundert, könnte ein Fusionsmodell, das ein erfundenes neues Aggregatzustand erfindet, im Labor für Aufsehen sorgen. Offenbar bevorzugen Wissenschaftler in der Wissenschaft, dass ihre Berechnungen nicht kreativ, sondern stur genau sind. Also lassen wir das FP8 vorerst für die Träume neuronaler Netze und verwenden echte Bits für echte Probleme.