LiteRTコミュニティは、AIモデルをローカルハードウェア上で直接実行することを最適化するオープンスタンダードを作成するためのイニシアチブを発表しました。目標は、クラウドに依存せずに推論をより高速化し、リソース消費を削減するための取り組みを統一することです。これは、モバイル、IoTデバイス、および組み込みハードウェアでのリアルタイムアプリケーションに重要です。
軽量実行アーキテクチャとアプローチ 🤖
LiteRTは、不必要な抽象化レイヤーを排除したミニマリストなランタイムに焦点を当てています。低レベルで動作し、メモリとCPU/GPU/NPUのサイクルを直接管理します。モジュール式デザインにより、開発者はモデルに必要な演算子のみを含めることができ、バイナリのフットプリントを削減します。ONNXなどのフォーマットとの互換性により、異なるチップセット間のポータビリティが容易になります。
クラウドに別れを：あなたのトースターがあなたより賢くなる 🍞
このスタンダードにより、ドアのモーションセンサーが視覚モデルを実行してあなたか猫かを判断する様子が間もなく見られるでしょう。一方、古い電話が人生の意味について考えるローカルLLMを実行します。皮肉なことに、私たちの脳の何分の一かの電力しかないデバイスがリアルタイムで私たちを訂正するのです。未来は、洗濯機にプログラム選択を判断するAIが搭載されることです。