目录
- 下载TensorRT
- 安装TensorRT
- 测试
TensorRT 是 NVIDIA 推出的一款高性能神经网络部署引擎.Windows系统下TensorRT目前不能简单直接通过pip指令自动下载安装, 安装之前还需要提前安装好 CUDA 和 CUDNN.
CUDA和CUDNN安装可参考:
- 详解 Windows系统下安装 CUDA 与 CUDNN. 😢 准备中…
- 超详细Windows安装PyTorch步骤. 🚀虽然这篇博客讲的是安装PyTorch, 但已经包含了所有的Windows系统下安装 CUDA 与 CUDNN步骤.
下载TensorRT
- 进入NVIDIA的TensorRT页面: https://developer.nvidia.com/tensorrt. 点击Download now, 进入TensorRT下载页面.
PS: TensorRT页面需要先登录NVIDIA账号, 才会有下载选项.
- 选择版本, 这里博主选择最新的
TensorRT 8.
- 勾选"I Agree To the Terms of the NVIDIA TensorRT License Agreement"
- 选择具体版本, 这里博主选择的是
TensorRT 8.5 GA Update 2.
- 选择
Zip Packages for Windows下面和自己CUDA版本匹配的ZIP, 点击即可下载.
安装TensorRT
- 解压下载的ZIP文件, 如下：
- 从解压好的文件夹中复制文件到
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6, 对应复制路径.PS: 此处的复制需要管理员权限. 此处CUDA的版本v11.6需要根据自身安装的情况而定.
| 序号 | 所需复制文件 | 来源 | 目标 |
|---|---|---|---|
| 1 | …\TensorRT-8.5.3.1\bin\trtexec.exe | …\TensorRT-8.5.3.1\bin | C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin |
| 2 | …\TensorRT-8.5.3.1\include下的所有文件 | …\TensorRT-8.5.3.1\include | C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include |
| 3🌟 | …\TensorRT-8.5.3.1\lib下的所有lib文件 | …\TensorRT-8.5.3.1\lib | C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64 |
| 4🌟 | …\TensorRT-8.5.3.1\lib下的所有dll文件 | …\TensorRT-8.5.3.1\lib | C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib |
- 安装
whl文件. 进入文件所在目录, 打开终端, 调用指令安装.PS: 安装时一定要注意whl文件的安装路径. 建议直接使用cd命令, 使终端进入到对应文件目录, 再使用 pip install *.whl 安装.
| 序号 | 待安装whl文件 | 所在文件夹 | 安装指令 |
|---|---|---|---|
| 1 | graphsurgeon-0.4.6-py2.py3-none-any.whl | …\TensorRT-8.5.3.1\graphsurgeon | pip install graphsurgeon-0.4.6-py2.py3-none-any.whl |
| 2 | onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl | …\TensorRT-8.5.3.1\onnx_graphsurgeon | pip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl |
| 3 | uff-0.6.9-py2.py3-none-any.whl | …\TensorRT-8.5.3.1\uff | pip install uff-0.6.9-py2.py3-none-any.whl |
| 4🌟 | tensorrt-8.5.3.1-cp38-none-win_amd64.whl 需根据自身python版本选择对应的文件 | …\TensorRT-8.5.3.1\python | pip install tensorrt-8.5.3.1-cp38-none-win_amd64.whl |
测试
⭐️👍🚀
