- 博客(16)
- 收藏
- 关注
RSS订阅原创 RK、边缘端部署、并行优化、内存调优、模型推理框架的常见调优方法
训练后量化 PTQ 是使用一批校准数据对训练好的模型进行校准, 将训练过的FP32网络直接转换为定点计算的网络，过程中无需对原始模型进行任何训练。（fake_quant module）模拟量化模型在推理过程中进行的舍入（rounding）和钳位（clamping）操作，从而在训练过程中提高模型对量化效应的适应能力，获得更高的量化模型精度。在这个过程中，所有计算（包括模型正反向传播计算和伪量化节点计算）都是以浮点计算实现的，在训练完成后才量化为真正的int8模型。
2025-04-10 21:50:18
868
原创 基于地狱猫（RK3588）ubuntu系统，使用gstreamer rtsp 硬件解码拉去视频流
核心工具（包含：基础插件（如：包含常用插件（如：部分实验性插件（如rtspsrc：包含一些特殊编码器（如mpeg：FFmpeg 相关的插件。
2025-03-31 17:01:33
447
原创 搞定PyTorch中模型保存和加载：torch.save()、torch.load()、torch.nn.Module.load_state_dict()
恢复训练时的优化器状态，继续训练不会丢失 momentum、learning rate 等信息。一般来说，最推荐的做法是。，这样更灵活、兼容性更好。加载参数，否则会报错。
2025-03-21 13:56:20
512
原创 查看宿主主机ip
获取宿主机的 IP 后，你可以使用该 IP 地址来访问 Docker 容器中的 Jupyter Notebook。等网络接口的 IP 地址，通常它们会显示类似于。的地址，这就是宿主机的 IP。这会返回宿主机的 IP 地址。
2025-03-11 17:54:01
396
原创 Docker 容器配置NVIDIA环境
这样，你的 Docker 容器就能正确使用 GPU 了！🚀 如果你遇到任何问题，请告诉我！如果输出 GPU 相关信息，说明 NVIDIA GPU 已成功在容器内运行。在 Docker 容器内安装 NVIDIA 以支持 GPU，需要使用。如果成功显示 GPU 信息，说明 NVIDIA 驱动已正确安装。如果你希望给正在运行的容器添加 NVIDIA 相关支持，可以。如果一切正常，你应该能看到你的 GPU 设备。如果你已经有一个 Docker 容器（如。并确保宿主机正确安装了。如果你的宿主机尚未安装。
2025-03-11 17:53:00
1164
原创 使用 RTSP 分发一路摄像头视频流到自定义 IP 地址
在本地主机上，可以为同一网卡配置多个 IP 地址，这样可以使用不同的 IP 地址发送视频流。使用 VLC 的命令行功能，将摄像头的输入流转发到自定义的多个 IP 地址。是网卡名称，实际使用时替换为你的网络适配器名称。：适合高度自定义需求或使用 UDP 的分发方式。是网卡名称，实际使用时替换为你的网卡名称。：将流发送到指定的 IP 地址和端口。：摄像头的 RTSP 输入流地址。：适合少量目标 IP，操作简单。：摄像头的 RTSP 输入流。：适合需要大规模分发的场景。：目标 IP 地址和端口。
2025-02-25 14:57:45
1027
原创 AI边缘处理设备怎么合理分配宽带和运行资源
在 AI 边缘处理设备中，合理分配宽带和运行资源是一项复杂的任务，需要综合考虑带宽、计算能力、存储、功耗等因素。数据压缩和量化减少带宽占用。边缘计算预处理和数据分流降低数据上传量。异构计算与硬件加速提升计算效率。动态任务调度和资源监控优化计算资源的使用。存储优化与数据缓存提高存储效率。智能电源管理延长设备运行时间。这些策略能够帮助确保边缘设备在有限资源下实现高效的 AI 推理和实时数据处理，同时优化功耗和网络带宽的使用。
2025-02-25 14:18:39
963
原创 基于RK3588 板子实现yolov5 模型转化推理----实测python 版
上文在ubuntu下安装的是 rknn-toolkit 注意区分，一个是ubuntu 工具环境, lite2 为 rknn 板端环境。找到 rknn_toollkit_lite2/packages ，里面有所需环境安装包，注意，仅在模型转化时才替换一下该函数，若执行模型训练和推理时，记得要修改会原来代码。修改 “opset” 修改onnx 的版本，要改为11or 12。创建虚拟环境，记得使用miconda 安装教程可自行搜索。修改模型地址和测试文件即可，支持图像，视频.如未报错说明安装成功。
2025-01-17 11:56:29
2029
原创 ubuntu 下使用Hailo模块 将onnx 模型量化编译hef 模型(二)
原生模式使用 float32 参数运行原始模型,fp_optimize 模式使用 float32 参数和所有模型修改运行，量化模式提供模拟硬件实现的输出。原生模式可用于验证 Tensorflow/ONNX 翻译过程，fp_optimize 模式可用于验证模型修改，而量化模式可用于分析优化模型的准确性。model_optimization_flavor: 模型优化策略，optimization_level 更加自己测试数据进行调整，如果测试数据小于1000，则一般设为0。5. 优化量化，编译的参数。
2024-12-27 11:35:59
1052
3
原创 树莓派4B 部署yolov5-lite(1.5) 模型教程----亲测成功（踩过一些博主的坑）
将labelme 标注的json 文件转成模型训练需要的txt 格式，执行一下代码，只需要替换上文json和txt 所在文件夹，即可自动执行json 转txt, 并将img 和txt 文本分别放到指定labels 和 images 文件中。同样测试集数据同理，最终生成train ,val 文件，里面对应images 和 labels 文件，分别存放图像和对应的标签数据信息。在yolov5-lite 中，找到export.py 文件，修改训练好的模型地址，模型图像尺寸。时，检测框位置更为精准。
2024-12-16 15:59:43
2867
20
原创 ubuntu 下使用Hailo模块 将onnx 模型量化编译hef 模型(一)
报错提示： ImportError: libGL.so.1: cannot open shared object file: No such file or directory。安装报错gcc 版本问题，对比当前版本和 CUDA 的要求。CUDA 11.8 通常需要 GCC 版本在 7.x - 12.x 之间，具体要求请查看 CUDA 安装文档。驱动安装过，就取消勾选，直接install 即可。一下均在hef_demo 环境下运行。解决方法： 安装libgl1 库即可。切换默认 GCC 版本，使用。
2024-12-16 15:58:46
664
原创 PyTorch 入门（一）：卷积层，池化层参数计算
卷积层的输出尺寸可以通过以下公式计算：对于 ：计算输出特征图尺寸：所以，卷积后的特征图尺寸是 128×128，通道数变为 32。池化层（）的输出尺寸可以通过以下公式计算：对于 ：计算池化后的输出尺寸：所以，池化后的特征图尺寸是 64×64，通道数仍为 32。经过第一层卷积和池化后：假设第二层卷积（）和相同的池化操作：计算输出尺寸：特征图尺寸仍为 64×6464×64，通道数变为 64。计算池化后的输出尺寸：Output Size=64−22+1=32Output Size=264−2+1=32所以，经过第
2024-11-22 16:30:22
467
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人