zhe_csdn的博客

（1）TensorRT支持kFLOAT（float32）、kHALF（float16）、kINT8（int8）三种精度的计算，在使用时通过低精度进行网络推理，达到加速的目的。（2）TensorRT对网络结构进行重构，把一些能合并的运算合并在一起，根据GPU的特性做了优化。具体方法为（a）垂直合并;（b）水平合并。（a）垂直合并：垂直合并是将目前主流神经网络结构的Conv、BN、Relu三个层融合为一个层。（b）水平合并：水平合并是指将输入为相同张量和执行相同操作的层融合在一起。(其实MNN能够加速的

https://blog.csdn.net/intflojx/article/details/81712651涉及到各种框架 pytorch tensorflow caffe 比较方便转换还有例程