Meta a présenté Glimmer, un modèle d'intelligence artificielle de 30 milliards de paramètres qui fonctionne entièrement sur votre ordinateur personnel, sans dépendre de serveurs externes. Ses poids ouverts sous licence Apache 2.0 permettent à quiconque de le télécharger et de l'exécuter sur sa machine. La promesse est claire : plus de confidentialité et un contrôle total sur vos données. Cependant, il y a une exigence qui n'est pas mineure : vous avez besoin d'au moins 24 Go de mémoire graphique pour qu'il fonctionne de manière fluide.
Exigences techniques et accessibilité : le prix de l'indépendance 🖥️
Glimmer n'est pas un jouet pour n'importe quel ordinateur portable. Il exige une carte graphique avec 24 Go de VRAM, ce que ne possèdent que les machines haut de gamme ou les stations de travail. Cela signifie que la plupart des utilisateurs avec un PC conventionnel ne pourront pas l'essayer. Techniquement, le modèle exploite la quantification et des optimisations pour réduire la consommation de mémoire, mais la limite physique reste là. Si vous avez une RTX 4090 ou une A5000, vous pourrez expérimenter une IA générative qui n'a pas besoin de connexion, avec des temps de réponse acceptables et un isolement total du cloud.
Glimmer, l'IA qui vous fait regarder votre portefeuille avant votre confidentialité 💸
Donc vous savez : pour vous vanter d'avoir une IA locale et privée, il faudra d'abord vendre un rein ou gagner à la loterie. En attendant, nous, simples mortels, continuerons à utiliser le cloud et à prier pour que Meta ne lise pas nos conversations. Glimmer est génial pour ceux qui ont une carte graphique qui coûte plus cher qu'une voiture d'occasion. Pour le reste, la confidentialité restera un luxe qui se paie avec des abonnements ou avec des données. Cela dit, si vous avez le matériel, vous pourrez insulter l'IA sans que personne ne vous entende. Tant mieux pour vous.