- 博客(11)
- 收藏
- 关注
RSS订阅原创 大模型推理框架
本地部署（local deployment）和服务部署（service deployment）是两种不同的部署方式，主要区别体现在。之前使用的一直是ollama，现在看到这么多部署工具，感觉很懵逼，出现这么多推理框架肯定有原因的，每个推理框架都具备各自的优势。最近在搞大模型 在hf-mirror中看到qwen3-0.6B模型的使用过程中，发现有很多部署方法。本地部署和服务部署有什么区别呢？
2025-05-13 10:33:00
230
原创 milvus向量数据库下载使用
直接拉取官方docker-compose 启动包 ，该项目中有yaml文件，直接运行docker-compose up -d,会直接下载镜像并实例化和启动容器。表示连接milvus成功！
2025-04-10 17:29:30
169
原创 linux服务器运行cherry studio
cherry studio在服务器上可以运行 ，但是没有可视化界面。这就丧失了cherry studio的作用。具体步骤这里不详细说，下次有机会边做边记录。可以用deepseek去搜具体步骤，一步步做就可以实现。x11又名X window 是一个网络透明的图像协议。这个时候可以使用X11来做。
2025-03-24 13:57:47
348
原创 深度学习推理环境梳理
深度学习工作主要分为两部分，分别是训练和推理。我的习惯是，训练用python，torch框架，gpu。推理可以用python,opencv,torch 也可用python,opencv,tensorrt。当然实际应用中根据公司习惯可以使用C++。说到这里，感觉好乱。整理个表格：推理环境下载方式pythonC++pythonC++组合1opencvCPU/GPUCPU版本下载：pip install opncv-pythonGPU版本下载：源码编译pytorchCPU/GPU。
2025-01-25 11:24:56
783
原创 神经网络推理环境搭建 C++版
搭环境是个耗时的事情，很长时间不搭建就会忘记具体细节，导致浪费更长时间。本文旨在梳理流程和记录过程。查看一下自己电脑的系统版本号：可见：我的是ubuntu20.04x86_64现在就可以在页面上选择了：执行完wgethttps://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run执行sudoshcuda_11.3.0_465.19.01_linux.
2025-01-17 17:24:51
976
原创 python 脚本之间的导入
1、.py文件就是Module2、有__init__.py就是一个包3、最简单的是普通Module之间的导入，有两种方式，分别是导入整个Module 和 导入Module中的一个函数4、除了包内部Module之间的导入用相对导入方式，其他情况均用绝对导入方式。5、模块导入机制是利用sys，当import 一个Module时，python会在sys.path中列表中的路径中依次搜索该Module名。
2025-01-16 21:05:41
579
原创 搭建yolov8cpp opencv推理环境，使用官方脚本执行yolov8的C++版本推理（本文只使用了opencv（cpu版）进行推理）
OpenCV 包括主体和 opencv-contrib 库两部分；如果你不需要使用 opencv-contrib 库中的模块，可以只生成 OpenCV ，而无需下载和生成 opencv-contrib。但务必注意，如果要将 opencv-contrib 库加入 OpenCV 的生成，这哥俩的版本号必须严格一致。将源代码包解压后，
2025-01-06 18:00:00
562
原创 opencv C++安装
找了很多博文，只有这个是靠谱的：手把手带你在Linux上安装带GPU加速的opencv库（C++版本）_opencv linux-CSDN博客
2025-01-01 22:45:23
133
原创 光流法-说人话详析
光流” 顾名思义 就是 光的流动，放在图像中的像素级别，可以理解为像素的流动，即同一像素值的流动。举个例子：假设你拍摄的是一辆车在前进的场景，假设车的前部从图像中的(100, 200)位置开始，并且前一帧和当前帧中车前部的像素有明显的位移。光流法就会估算该点的位移（如(u=5, v=3)），意思是该像素在前一帧时位于(100, 200)，而在当前帧中它已经移动到了(105, 203)。通过这种方式，光流法不仅能够计算出每个像素的运动，还能够得到图像中物体整体的运动趋势。
2024-12-16 11:16:01
1053
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人