Pytorch网络训练模型转成C++推理执行

最新推荐文章于 2025-03-17 20:54:58 发布
最新推荐文章于 2025-03-17 20:54:58 发布
阅读量3.8k 收藏 20
点赞数 1
分类专栏： 显著性检测 学习笔记 文章标签： 深度学习 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/librahfacebook/article/details/109990847
版权
本文介绍了如何将基于PyTorch的显著图推理模型转换为C++，以便于部署和满足低延迟需求。主要内容包括PyTorch模型转Torch Script，Windows和Linux系统的环境配置，C++代码实现及执行，以及模型性能优化后的执行时间对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

显著图推理模型C++转换

显著性检测网络模型是基于PyTorch深度学习框架进行搭建并参与训练的，在实际应用和生产中，由于要满足低延迟和严格部署要求，通常选用C++来进行推理过程。这里的显著图推理模型C++转换过程主要由以下几个步骤组成：将PyTorch网络模型转换为Torch Script，并序列化为一个文件；配置编译运行环境，在C++中加载模型参数，完成推理任务。

系统环境（Windows）
  1. 电脑系统版本：Windows 10
  2. 显卡版本：GeForce RTX 2070(显存8192MB)
  3. 编译器：Visual Studio 2019 Community
  4. GCC版本：8.1.0
  5. CMake版本：3.18.2
  6. CUDA版本：10.1，V10.1.243
  7. cuDNN版本：cuDNN v8.0.2 for CUDA 10.1
  8. PyTorch版本：Stable(1.6.0)
  9. LibTorch-gpu版本：https://download.pytorch.org/libtorch/cu101/libtorch-win-shared-with-deps-1.6.0%2Bcu101.zip
  10. LibTorch-cpu版本：https://download.pytorch.org/libtorch/cpu/libtorch-win-shared-with-deps-1.6.0%2Bcpu.zip
  11. OpenCV版本：https://sourceforge.net/projects/opencvlibrary/files/4.4.0/opencv-4.4.0-vc14_vc15.exe/download
系统环境（Linux）
  1. Linux系统版本：Ubuntu 19.10
  2. 显卡版本：TITAN RTX(显存24217MB)
  3. GCC版本：gcc (Ubuntu 7.5.0-3ubuntu1~19.10) 7.5.0
  4. G++版本：g++ (Ubuntu 7.5.0-3ubuntu1~19.10) 7.5.0
  5. CMake版本：3.13.4-1build1
  6. CUDA版本：10.2, V10.2.89
  7. cuDNN版本：
最低0.47元/天 解锁文章
超简单的pyTorch训练-＞onnx模型-＞C++ OpenCV DNN推理（附源码地址）
u013250861的博客
03-01 1210
代码中我们输入的为1024，所以预测的结果为2048，完全正确，这样一个最简单的pyTorch训练模型转出onnx，然后用C++ OpenCV推理的Demo就完成了。，最重要的还是需要真正用起来，OpenCV中DNN模块就是用来推理的，所以这篇就是专门做一个最简单的例子来验证效果，文章最后有源码的Github地址。成功后当前目录下会生成一个test.onnx的模型文件，这样pyTorch训练的模型这块就完成了，接下来就是看看如果用OpenCV的DNN进行推理。定义训练的网络模型及损失函数和优化器。
如何使用C++调用Pytorch模型进行推理测试：使用libtorch库
weixin_42364196的博客
07-05 2314
介绍如何通过libtorch库，使用C++调用Pytorch模型进行推理测试
怎样c++调用pytorch训练的模型
m0_37635769的博客
05-16 1919
怎样c++调用pytorch训练的模型
PyTorch-CPP：使用LibTorch进行PyTorch C ++推理
01-28
该演示将演示如何使用LibTorch来构建C ++应用程序。 [UPDATE 2019/01/18] ：初始化仓库，使用PyTorch1.0进行测试。 [UPDATE 2020/02/22] ：感谢和他的 ，他们更新了此演示以适合LibTorch1.4.0和OpenCV4.0。 [UPDATE 2020/04/15] ：使用OpenCV4.3 / PyTorch1.4 / LibTorch1.4重新测试本教程，为初学者更新自述文件。 [UPDATE 2020/04/25] ：更新CMakeLists.txt以适合C ++ 14，并使用CUDA10.0 / PyTorch1.5 / LibTorch1.5重新测试。 [UPDATE 2020/11/08] ：改进自述文件，使用PyTorch1.7 / CUDA10.2 + cuDNNv7.6.5和CUDA11.0 + cuDNNv8.0.4重新测试 内容 制备 步骤0：依赖关系 确保已正确安装LibTorch和OpenCV。 安装OpenCV ：适用于和 获取LibTorch ：从官方下载LibTorch软件包，然后解压缩，例如：
PyTorch 模型转换为 ONNX并C++推理
最新发布
weixin_43724177的博客
03-17 1088
PyTorch 模型转换为 ONNX 以及推理
Pytorch模型转C++（libtorch）
梁州牧的博客
07-23 2101
Pytorch模型转C++ 首先，在pytorch官网下载libtorch对应系统版本的压缩包并解压。 打开vs，编译器选择ISO C++14标准 设置附加包含目录 设置附加库目录 设置附加依赖项 需要把所有lib加进来，可以在lib文件夹下输入下面命令 ls *.lib 查看文件夹下的所有lib文件 修改两个地方： 第一项： 第二项： 其他问题： 如果报错说找不到XXX.dll，可以将lib文件夹里对应的XXX.dll放到项目文件夹可执行文件
Pytorch迁移到C++
m0_37855677的博客
01-10 3616
1. 啰嗦的话 首先说说为什么要用pytorch，现在大家都经常用tensorflow、keras、pytorch来编写神经网络，tensorflow和keras属于一路子，现在keras归tensorflow管了，tensorflow的示例程序都是给的keras。如果想在C++端调用写好的模型，则需要保存成pb格式，keras的h5格式是可以转换成pb格式的。基于tensorflow和keras...
基于C++的PyTorch模型部署
weixin_37737254的博客
04-23 8870
PyTorchAuthor：louwillMachineLearning Lab 引言 PyTorch作为一款端到端的深度学习框架，在1.0版本之后已具备较好的生产环境部署...
Python模型转为C++模型 (PyTorch )
dongfangxiaozi_的专栏
07-12 4136
PyTorch模型主要用Python语言开发，在工业界，往往需要将Python的模型转化为C++，以方便其部署和跨平台使用； 1.创建PyTorch模型 2.转换成torch_script 3.保存pt模型 4.C++Load模型 5.编译 编译cmake的版本问题，下载和更新cmake的版本将会是比较麻烦、甚至看运气的事情，根据当前的torch版本，和CPU/GPU环境，选择libtorch版本 $ cmake -DCMAKE_PREFIX_PATH=/Use.....
java jna 调用pytorch c++模型推理
12-30
在描述的场景中，首先，我们需要在C++环境中构建一个推理引擎，该引擎使用PyTorch的C++ API来加载和执行预先训练好的Torch Script模型。Torch Script是PyTorch的一种静态图表示，它允许模型在不经过Python解释器的...
pytorch转onnx使用C++ onnxuntime加载推理
02-28
总结，这个`onnxruntime_demo`项目演示了如何将PyTorch模型转换成ONNX格式，并使用C++版ONNXRuntime进行推理。这展示了跨框架模型部署的灵活性，并且通过C++的低级控制，可以实现高效、定制化的模型执行。在实际应用...
面向Windows在C++中调用Pytorch模型（MNIST手写体数字识别）
11-01
使用pytorch从模型训练到模型调用，再通过libtorch转成C++调用，全流程实现MNIST手写体数字识别
pytorch网络转C++
qq_35653349的博客
10-18 736
pytorch JIT浅解析 1.用jit将python端网络模型转换到C++加载模型 用jit.trace比较简单 2.不会记录控制流(和参数相关的判断 if while…) 但是转换过程中也能正常转换，会按照当前输入，记录当前控制流的操作 eg: input = 1 if input > 2: print("aaaaaaa") else: print("bbbbb") ...
TensorRT 学习（二）：Pytorch 模型转 TensorRT C++ 流程
秋山丶雪绪的博客
11-15 982
选取MLP和LeNet两个简单的例子，学习Pytorch模型转C++的流程，以及相关TensorRT C++ API。
PytorchC++
Gussss的博客
04-23 1637
import torch class Net(torch.nn.Module): def __init__(self, N, M): super(Net, self).__init__() self.W = torch.nn.Parameter(torch.randn(N, M)) self.b = torch.nn.Parameter(torch.randn(M)...
[小程序系列] C++ 运行pytorch(libtorch)模型
Lion996的博客
05-18 1289
c++ 运行pytorch模型
记录 ，Pytorch 模型转为C++版本 部署在windows 上（仅包含cmake编译过程）和 运行demo
朱小丰的博客
12-01 1721
官方文档： https://pytorch.org/cppdocs/installing.html 参考博客： https://zhuanlan.zhihu.com/p/68901339 https://zhuanlan.zhihu.com/p/104225144 https://www.cnblogs.com/carsonzhu/p/11197048.html 一保存模型： 这一步比较简单一般不会存在问题 简单来说就是把模型转换为序列化的格式 并 保存下来 二cmake编译过程： .
部署Pytorch模型到C++环境
likesomething1的博客
06-30 6597
由于工作原因需要部署Pytorch模型到c++环境下，目前大概有三种方式。 1、pytorch转成onnx文件后，通过opencv读取。 2、pytroch转成onnx文件后，通过onnxruntime读取。 3、利用libtorch库，也就是pytorch的c++版。首先的将pytorch训练好的模型导出onnx文件。...............
pytorch transform数据处理转c++
weixin_45331269的博客
02-28 3521
python推理代码转c++ sdk过程遇到pytorch数据处理的转换 python代码 import torch from PIL import Image from torchvision import transforms data_transform = transforms.Compose( [transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), t
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值