В области высокопроизводительных вычислений существует явное расхождение между потребностями ИИ и традиционной науки. Форматы низкой точности, такие как FP8, полезные для обучения нейронных сетей, вводят неприемлемые ошибки в физические или климатические симуляции. Чтобы устранить этот разрыв, исследователь Ласло Хунхольд разрабатывает специальный формат, который приоритизирует числовую точность, не пренебрегая производительностью и энергоэффективностью, требуемыми для этих вычислений.
Разработка стандарта для точных научных вычислений ⚙️
Работа Хунхольда сосредоточена на создании формата с плавающей запятой, который оптимизирует использование битов для диапазона и точности, требуемых научными моделями. В отличие от форматов ИИ, которые жертвуют динамической точностью ради скорости, это предложение стремится гарантировать числовую стабильность в длинных итерациях. Цель — дизайн, интегрируемый в специализированное аппаратное обеспечение, снижающий энергопотребление суперкомпьютеров без ущерба надежности результатов в критических исследованиях.
Когда твоя климатическая симуляция предпочитает не «галлюцинировать» результаты 😅
Это понятно. В то время как ИИ может сгенерировать изображение кота с шестью лапами и никого это не удивит, модель ядерного синтеза, которая придумает новое состояние вещества, может вызвать переполох в лаборатории. Похоже, в науке предпочитают, чтобы их вычисления не были творческими, а упорно точными. Так что, пока оставим FP8 для снов нейронных сетей и используем настоящие биты для настоящих проблем.