onnx推理

wangzsh187

已于 2022-09-28 17:10:41 修改

阅读量1.1k

点赞数 1

分类专栏： Ubuntu 文章标签： python

于 2022-06-02 10:01:02 首次发布

本文链接：https://blog.csdn.net/wangzsh187/article/details/125095459

版权

Ubuntu 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了如何在Ubuntu环境下安装onnxruntime-gpu，涉及版本对应、CUDA和TensorRT的配置，以及使用CUDAExecutionProvider进行GPU推理的代码示例。通过编译步骤，展示了如何手动编译并生成适用于TensorRT的onnxruntime wheel文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. onnxruntime与onnxruntime-gpu安装

版本对应关系：地址
在这里插入图片描述

2. onnxruntime使用gpu推理代码部分：

self.session = onnxruntime.InferenceSession(onnx_file_path)
self.session = onnxruntime.InferenceSession(onnx_file_path, providers=[‘CUDAExecutionProvider’])

3. 手动编译onnxruntime

https://zenn.dev/pinto0309/scraps/0b6dc472d1f1b4

docker run --rm -it --gpus all \
-v `pwd`:/home/user/workdir \
ghcr.io/pinto0309/openvino2tensorflow:base.11.7.1-cudnn8-tf2.10.0-trt8.4.3-openvino2022.1.0

cd /home/user/workdir

git clone -b v1.12.1 https://github.com/microsoft/onnxruntime.git \
&& cd onnxruntime

pip show numpy

Name: numpy
Version: 1.23.2

dpkg -l | grep TensorRT

ii  graphsurgeon-tf        8.4.3-1+cuda11.6   amd64 GraphSurgeon for TensorRT package
ii  libnvinfer-bin         8.4.3-1+cuda11.6   amd64 TensorRT binaries
ii  libnvinfer-dev         8.4.3-1+cuda11.6   amd64 TensorRT development libraries and headers
ii  libnvinfer-plugin-dev  8.4.3-1+cuda11.6   amd64 TensorRT plugin libraries
ii  libnvinfer-plugin8     8.4.3-1+cuda11.6   amd64 TensorRT plugin libraries
ii  libnvinfer-samples     8.4.3-1+cuda11.6   all   TensorRT samples
ii  libnvinfer8            8.4.3-1+cuda11.6   amd64 TensorRT runtime libraries
ii  libnvonnxparsers-dev   8.4.3-1+cuda11.6   amd64 TensorRT ONNX libraries
ii  libnvonnxparsers8      8.4.3-1+cuda11.6   amd64 TensorRT ONNX libraries
ii  libnvparsers-dev       8.4.3-1+cuda11.6   amd64 TensorRT parsers libraries
ii  libnvparsers8          8.4.3-1+cuda11.6   amd64 TensorRT parsers libraries
ii  onnx-graphsurgeon      8.4.3-1+cuda11.6   amd64 ONNX GraphSurgeon for TensorRT package
ii  python3-libnvinfer     8.4.3-1+cuda11.6   amd64 Python 3 bindings for TensorRT
ii  python3-libnvinfer-dev 8.4.3-1+cuda11.6   amd64 Python 3 development package for TensorRT
ii  tensorrt               8.4.3.1-1+cuda11.6 amd64 Meta package for TensorRT
ii  uff-converter-tf       8.4.3-1+cuda11.6   amd64 UFF converter for TensorRT package

sudo chmod +x build.sh
sudo pip install cmake==3.24.1

./build.sh \
--config Release \
--cudnn_home /usr/lib/x86_64-linux-gnu/ \
--cuda_home /usr/local/cuda \
--use_tensorrt \
--use_cuda \
--tensorrt_home /usr/src/tensorrt/ \
--use_openvino AUTO:GPU,CPU \
--enable_pybind \
--build_shared_lib \
--build_wheel \
--parallel $(nproc) \
--skip_tests

find . -name "*.whl"
./build/Linux/Release/dist/onnxruntime_gpu-1.12.1-cp38-cp38-linux_x86_64.whl