NVIDIA Developer Blog описал подход к оптимизации производительности TensorRT, выходящий за рамки одного маршрута сборки. В представленном описании построение движка рассматривается как задача компиляции с несколькими допустимыми вариантами решений.
При сборке TensorRT, согласно материалу, взаимосвязаны преобразования графового промежуточного представления, объединение операций, выбор реализации, размещение памяти и квантование. Этот процесс в источнике называется планированием.
Практический эффект и масштаб применения Global Performance Tuner в предоставленном пакете не раскрыты. Источник представлен как метаданные и синопсис одного материала NVIDIA Developer Blog, без независимого подтверждения.
комментарий редакции
Что это значит
Вероятное следствие: такой подход переносит внимание с отдельного удачного маршрута сборки на согласованный поиск решений по всей цепочке компиляции. Следующим наблюдаемым сигналом станут опубликованные результаты тестов Global Performance Tuner на конкретных моделях и GPU. Существенная неопределенность связана с отсутствием в пакете данных о приросте скорости, затратах времени и доступности инструмента.