Liquid AI a ouvert le code source de Pipette, une plateforme destinée au test reproductible des modèles fondamentaux sur les appareils périphériques. C'est ce qu'a rapporté MarkTechPost.
Selon le média, Pipette évalue les modèles conjointement avec la quantification, l'environnement d'exécution et le matériel, plutôt que de se fier uniquement aux métriques de précision serveur. Artificial Analysis a également participé au développement en tant que validateur indépendant de la méthodologie.
La portée pratique de cette initiative est de comparer le comportement d'un même modèle dans des conditions proches de celles d'un téléphone ou d'un autre appareil périphérique. Cependant, le document fourni ne contient aucun résultat de test, aucune liste des appareils pris en charge ni aucun détail sur la méthodologie.
commentaire éditorial
Pourquoi c’est important
Une conséquence probable est un déplacement de l'attention des cartes de modèles serveur vers des mesures dans des conditions d'utilisation spécifiques. Le prochain signal observable sera la publication de tests sur de vrais appareils et la description des métriques. Une incertitude substantielle subsiste : la source originale ne contient ni résultats, ni couverture des plateformes, ni confirmation indépendante au-delà de la participation d'Artificial Analysis au projet.