TensorRT(二)TensorRT使用教程（Python版）

一、前言

1.1 本文目标

本文主要是宏观地阐述一下如何使用TensorRT来部署深度学习模型以实现对模型的加速，从而提高深度学习模型运行的效率，根据我自己的实测，确实可以达到官方所说的六倍以上的速度（如下图所示）。

但是本文适合快速入门了解TensorRT使用的宏观流程，具体细节还是建议参考TensorRT的官方文档。

目前，TenorRT已经支持了主流的深度学习框架，并且截至本文发布前，TensorRT已经更新到了8.2的版本，说明TensorRT还是比较成功的

（说实话，英伟达在AI领域的布局已经基本完成了，从硬件到软件的生态几乎已经彻底完善了，按照当前的趋势，盲猜英伟达将会在不远的未来抛弃CPU和运行内存，因为数据从内存拷贝到显存貌似这部分时间开销挺大的）

其实" Tensort支持了主流深度学习框架"这句话的意思是指： TensorRT可以直接从这些深度学习框架中获取深度学习模型的定义和权重。

这句话很好理解，因为不同的深度学习框架自然有自己的模型定义方式，因此TensoRT想要获取深度学习模型的神经网络结构和相关参数权重，那必然是需要先能够"读懂"框架的"语言"。

1.2 TensorRT是什么

输入验证码查看隐藏内容

扫描二维码关注本站微信公众号 Johngo学长

或者在微信里搜索 Johngo学长

回复 svip 获取验证码

Johngo学长