Dans le domaine du calcul haute performance, il existe une divergence claire entre les besoins de l'IA et ceux de la science traditionnelle. Les formats de basse précision comme FP8, utiles pour entraîner des réseaux neuronaux, introduisent des erreurs inacceptables dans les simulations physiques ou climatiques. Pour combler cette lacune, le chercheur Laslo Hunhold développe un format spécifique qui priorise l'exactitude numérique sans négliger les performances et l'efficacité énergétique exigées par ces calculs.
Le développement d'un standard pour un calcul scientifique exact ⚙️
Le travail de Hunhold se concentre sur la création d'un format à virgule flottante qui optimise l'utilisation des bits pour la plage et la précision requises par les modèles scientifiques. Contrairement aux formats d'IA, qui sacrifient la précision dynamique pour la vitesse, cette proposition vise à garantir la stabilité numérique dans les itérations longues. L'objectif est un design qui s'intègre dans du matériel spécialisé, réduisant la consommation énergétique des superordinateurs sans compromettre la fiabilité des résultats dans les recherches critiques.
Quand votre simulation climatique préfère ne pas « halluciner » des résultats 😅
C'est compréhensible. Alors qu'une IA peut générer une image d'un chat à six pattes et que personne n'en soit surpris, un modèle de fusion nucléaire qui invente un nouvel état de la matière pourrait causer un certain remue-ménage au laboratoire. Il semble que, en science, on préfère que leurs calculs ne soient pas créatifs, mais obstinément exacts. Donc, pour l'instant, laissons le FP8 aux rêves des réseaux neuronaux et utilisons de vrais bits pour les vrais problèmes.