NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。本文参照英伟达官网教程记录下在win10、cuda9.0、vs2015环境下的TensorRT 5.0的安装和使用过程，以供参考交流。
一、环境
Win10
vs2015
cuda9.0
cudnn7.0
python2.7
二、TensorRT 5.0安装
1、下载
【机器学习|windows环境下安装TensorRT 5.0教程（win10）】下载链接：https://developer.nvidia.com/nvidia-tensorrt-5x-download
文章图片
2、解压
文章图片
3、设置系统环境变量
文章图片
4、复制dll文件到cuda安装目录
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin（对应自己的cuda安装目录）
文章图片
文章图片
二、mnist sample编译测试
完成tensorRT安装后，测试看安装是否成功，可以直接编译刚才解压的TensorRT里的案例来测试。这里我们选用sampleMNIST来测试。
文章图片
1、mnist案例的程序在路径samples\sampleMNIST下
文章图片
2、用vs2015（其他版本没试过）打开解决方案后，需对工程属性进行配置。
（1）首先修改一下对应的平台版本和工具集
文章图片
（2）可执行文件目录
文章图片
（3）附加包含目录
文章图片
（4）附加依赖项
文章图片
到这里工程属性的配置就完成了，接下来对工程编译。
3、编译
文章图片
输出的可执行文件在目录D:\vs2015_workspace\TensorRT-5.0.4.3\bin下。
文章图片
4、运行测试
在sample的readme中可以看到运行命令如下：
文章图片
文章图片
可以看到，到这里安装测试已经完成了。对TensorRT进一步的研究后续再进行，接下来将以SSD为例，进一步对使用TensorRT的各方面进行考察，尤其是INT8模式下的推理速度提升和准确率的影响。
2019年的第一天，元旦快乐！
推荐阅读
- 机器学习|机器学习&深度学习资料汇总
- 目标检测|目标检测之网络篇（2）【STN-空间变换网络】
- MTCNN优化和另类用法
- 超分辨率重建|论文阅读笔记之——《Multi-level Wavelet-CNN for Image Restoration》及基于pytorch的复现
- 模式识别|《模式识别》学习笔记（三）
- 初学萌新|《机器学习方法（第三版）——李航》学习笔记（一）
- 机器学习|Spark ALS 协同过滤算法实践
- 动手深度学习4月10日
- 动手深度学习3月28日