Google объявляет об интеграции своего runtime LiteRT с фреймворками ИИ PyTorch и JAX. Этот шаг направлен на предоставление более прямого пути развертывания для моделей, обученных в этих средах, без отказа от стандартного формата модели .tflite. Цель — упростить процесс переноса моделей от обучения к устройствам с ограниченными ресурсами.
Унификация экосистем для эффективного вывода 🤝
LiteRT выступает в роли моста производительности. Разработчики смогут экспортировать модели из PyTorch или JAX в .tflite, а затем запускать их с помощью LiteRT, который оптимизирован для различных аппаратных ускорителей (GPU, NPU). Это позволяет избежать сложных промежуточных конверсий и сохраняет единый конечный формат файла. Совместимость достигается с помощью расширений, которые переводят операции этих фреймворков в граф, исполняемый runtime TensorFlow Lite.
Святая троица развертывания, теперь с меньшим количеством молитв 🙏
Это кажется окончательной попыткой заставить нас перестать проклинать конвертацию модели. Сначала было сохранение в .onnx, затем экспорт в .tflite, а теперь призыв духа LiteRT. Google по сути говорит нам, что мы можем продолжать использовать наш любимый фреймворк, в то время как они берут на себя скучную часть. Это как если бы сантехник пришел и починил течь, не глядя на тебя с презрением за использование ключей другой марки. Посмотрим, сбудется ли чудо на этот раз.