O NVIDIA Developer Blog descreveu uma abordagem de otimização de desempenho do TensorRT que vai além de uma única rota de build. Na descrição apresentada, a construção do motor é tratada como uma tarefa de compilação com várias soluções permitidas.
Ao construir o TensorRT, conforme o material, são consideradas inter-relações entre transformações do gráfico de representação intermediária, fusão de operações, escolha de implementação, alocação de memória e quantização. Esse processo, na descrição da fonte, é chamado de planejamento.
O efeito prático e a escala de aplicação do Global Performance Tuner no pacote fornecido não são revelados. A fonte é apresentada apenas como metadados e sinopse de um material do NVIDIA Developer Blog, sem confirmação independente.
comentário editorial
Por que importa
Provável consequência: essa abordagem desloca o foco de uma rota de compilação bem-sucedida para uma busca coordenada de soluções ao longo de toda a cadeia de compilação. O próximo sinal observado serão os resultados publicados dos testes do Global Performance Tuner em modelos e GPUs específicos. Há grande incerteza relacionada à ausência de dados no pacote sobre ganho de velocidade, custos de tempo e disponibilidade da ferramenta.