NVIDIA Developer Blog beschreibt einen Optimierungsansatz für TensorRT, der über einen einzelnen Build-Pfad hinausgeht. In der Beschreibung wird der Build des Engines als eine Kompilierungsaufgabe mit mehreren zulässigen Lösungswegen betrachtet.
Beim Build von TensorRT werden verknüpfte Entscheidungen zu Graph-Transformationen, Operator-Fusion, Implementierungswahl, Speicherplatzierung und Quantisierung berücksichtigt. Dieser Prozess wird in der Quelle als Scheduling bezeichnet.
Praktische Auswirkungen und der Umfang von Global Performance Tuner in dem bereitgestellten Paket werden nicht offengelegt. Die Quelle wird als Metadaten und Synopsis eines NVIDIA Developer Blog-Beitrags dargestellt, ohne unabhängige Bestätigung.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge: Ein solcher Ansatz verlagert die Aufmerksamkeit von einem einzelnen erfolgreichen Build-Pfad hin zur konsistenten Suche von Lösungen über die gesamte Compile-Kette. Als nächstes sichtbare Signal werden veröffentlichte Testergebnisse des Global Performance Tuner für konkrete Modelle und GPUs sein. Wesentliche Unsicherheit ist der Mangel an Daten im Paket über Geschwindigkeit, Zeitaufwand und Verfügbarkeit des Tools.