NVIDIA Developer Blog describió un enfoque para optimizar el rendimiento de TensorRT que va más allá de una sola ruta de compilación. En la descripción presentada, la construcción del motor se considera como una tarea de compilación con múltiples soluciones admisibles.
Al construir TensorRT, según el material, se tienen en cuenta transformaciones interconectadas del grafo de representación intermedia, fusión de operaciones, selección de implementación, colocación de memoria y cuantización. Este proceso en la fuente se denomina planificación.
El efecto práctico y la escala de aplicación de Global Performance Tuner en el paquete proporcionado no se divulgan. La fuente se presenta como metadatos y sinopsis de un material de NVIDIA Developer Blog, sin confirmación independiente.
comentario editorial
Por qué importa
Probable consecuencia: tal enfoque desplaza la atención de una ruta de compilación exitosa hacia la búsqueda coordinada de soluciones a lo largo de toda la cadena de compilación. Señales futuras serán resultados de pruebas publicados de Global Performance Tuner en modelos y GPUs específicas. Una incertidumbre sustancial está relacionada con la falta de datos en el paquete sobre incremento de velocidad, costos de tiempo y disponibilidad de la herramienta.