Le NVIDIA Developer Blog décrit une approche d’optimisation des performances de TensorRT qui va au‑delà d’un seul chemin de compilation. Dans la description présentée, la construction du moteur est envisagée comme une tâche de compilation avec plusieurs options possibles.
Lors de la construction de TensorRT, selon le matériel, des transformations interdépendantes du graphe du représentant intermédiaire, la fusion des opérations, le choix de l’implémentation, le placement de la mémoire et la quantification sont interconnectés. Ce processus dans la source est appelé planification.
L’effet pratique et l’étendue de l’utilisation du Global Performance Tuner dans le paquet fourni ne sont pas dévoilés. La source est présentée comme des métadonnées et un synopsis d’un seul article du NVIDIA Developer Blog, sans confirmation indépendante.
commentaire éditorial
Pourquoi c’est important
Conséquence probable: cette approche déplace l’attention d’un seul chemin de compilation réussi vers une recherche coordonnée de solutions tout au long de la chaîne de compilation. Le prochain signal observé sera les résultats publiés des tests du Global Performance Tuner sur des modèles et GPU spécifiques. Une incertitude substantielle est liée à l’absence de données dans le paquet sur les gains de vitesse, les coûts de temps et la disponibilité de l’outil.