- 博客(17)
- 收藏
- 关注
原创 分布式调度的--多模型协同工作实践方案
需重点关注模型间通信延迟和异常处理机制,可参考大模型并行策略约束准则作为容错设计准则,建立任务重试、降级响应等保障策略。语音输入会议纪要→模型6转文本→模型1提取任务项→模型2生成TODO代码→模型3绘制甘特图。集成语义解析模块:使用BERT+CRF技术实现意图分类(网页8中的多模态解析技术)用户描述报错信息→模型5检索知识库→模型4进行日志分析→模型2生成修复建议。模型1拆解任务→模型3生成图像→模型2编写促销代码→模型6添加语音解说。模型轻量化:对非核心模型实施4 bit量化(网页5的模型压缩技术)
2025-05-15 11:15:32
484
原创 盯盘机器人,实时监控股票价格,还可以机器人提醒
前言Python凭借其开发效率高和功能强大的特性,在众多编程语言中脱颖而出,成为大数据时代的分析利器。据我多年的领悟,编程语言只是一种按照人的意图去实现特定功能的高效工具而已,程序化所实现的核心决策功能依然需要人工智慧来支撑,在量化投资交易领域,投资者所思考的交易逻辑是非常重要,正所谓重剑无锋,大巧不工(真正的剑技不是要依靠剑锋,而是个人的修行,投资也是如此,投资者的素养最为重要),因此应当把80%的时间与精力放到投资模型构建的思考上,20%的时间与精力放到编程实现上。
2025-05-15 10:59:45
775
原创 如何构建自己的专业大模型
2-2-1混合数据源:开源数据集(30%)+ 本地知识库(60%)+ 人工构造QA(10%)3-1-1推荐使用ChatGLM-6B轻量化版本(通过剪枝至9000万参数)4-2-3动态分页缓存:使用vLLM的`PagedAttention`技术。2-2-2数据量级:建议总token数在1-3亿之间(约需20GB存储)6-2-2、推理速度:单次响应时间<1.5秒(4-bit量化)4-2-2混合精度训练:`fp16`模式节省50%显存。5-1-1、4-bit量化后模型大小:约350MB。
2025-04-10 16:28:39
312
原创 手把手教你使用 MaxKB 和 Ollama 搭建本地专业知识库
另外MaxKB和Ollama的工作原理,我觉得大家可以稍微了解一下啊,不建议延伸太多,如果有兴趣想深入了解的,我建议自己去Google或bing上查相关的资料(最懒的去百度一下也行),我这里主要是记录如何操作的过程,而不是对使用工具的研究和工具背后的技术细节进行研究,我就是拿来主义,工具只要原理符合我们的需求,结合我们自己的机构化思维或结构布局,直接组合选择的一堆工具,它们集成到一起能运行就行了。它们的结合正好可以满足知识库的核心需求:MaxKB负责知识库的管理和检索,Ollama负责提供AI模型的支持。
2025-03-12 10:27:48
631
原创 MAS-多智能体系统入门
研究MAS不仅有助于理解人类智能的本质和机制,还能提高人工智能的水平和能力,解决人类社会的各种问题。可以从简单的多智能体环境开始,如Combat环境,逐步挑战更复杂的场景,研究开源的MAS项目,比如GitHub上的ma-gym, MetaGPT等,可以提供宝贵的实践经验。可以看到 MAS 还是很复杂的,除了自己费力找资料,也可以直接向有经验的老师请教,你可以先去学大模型微调、LangChain开发框架的用法等AI解决业务问题的核心方法、逐步培养独立开发AI产品的能力,还拓宽技术视野,构筑个人核心竞争力!
2025-02-26 16:56:08
735
原创 【个人文章本地测试】
A股股票行情分析知识库的主要目的是存储和管理A股市场的相关数据,包括股票基本信息、历史行情、技术指标、财务数据等。通过这个数据库,我们可以方便地查询、分析和可视化股票数据。
2025-02-18 14:53:18
493
原创 windows系统安装duda、cudnn、tensorRT
解压下载的tensorRT的压缩包,将tensorRT解压文件中的lib目录和include目录中的文件内容都拷贝到cuda安装对应的目录文件下,无对应的目录的直接将文件夹拷贝到。一番查下来确定我的显卡支持的版本为:CUDA-12.6,cuDNN-8.9.7,TensorRT-10.7.0.23。1-1先确定你的显卡是哪个型号的,使用。我的显卡是4070,通过。
2025-02-13 16:01:57
763
原创 手把手带你在Windows中搭建本地知识库(基于ollama本地部署大模型+客户端安装版AnythingLLM)非docker环境部署
Ollama 提供了一系列的工具和服务,旨在简化大型语言模型的安装、配置和使用过程,让更多人能够体验到人工智能的强大能力。AnythingLLM是一个功能丰富,集成度很高的RAG框架,其在github上的开源项目(anything-llm),已经有1万2千多Star。它不仅仅是一个聊天机器人,是一个全栈应用程序,旨在通过一个精心设计的用户界面,为客户提供与文档、资源等进行智能对话的最简单方式
2025-02-12 10:58:44
1306
原创 ollama本地部署windows -基于docker部署的
如果你在使用 Windows Subsystem for Linux (WSL),确保 Docker Desktop 支持 WSL 并正确配置。使用 CLI:你也可以使用 Ollama CLI 工具进行交互。本文要介绍 Ollama 基于 Docker进行部署,你需要先安装 Docker。确保你的防火墙或安全软件允许 Docker 和 Ollama 的端口(默认是 11434)。使用 API:你可以通过 HTTP API 与模型交互。你应该能看到 Ollama 的 Web UI,显示可用的模型和相关信息。
2025-02-08 15:01:53
687
原创 使用 Ollama 下载 DeepSeek 模型和DeepSeek的本地部署使用
import requests url = "http://localhost:11434/api/generate" data = { "model": "deepseek-r1", "prompt": "你好,DeepSeek!它支持多种模型格式,并提供简单的命令行接口,方便开发者快速下载、运行和测试模型。访问 Ollama 的官方网站:ollama.com (支持Mac/Linux/windows系统)根据你的操作系统选择下载对应的安装包。模型下载成功后,可以通过以下命令查看在本地的模型。
2025-02-08 12:07:23
3189
原创 通过客户端Chatbox或OpenwebUI访问识别不到本地ollama中的模型等问题的解决
问题1:先安装了ollama,然后从docker安装了Open WebUI。启动Open WebUI后,找不到ollama中已经下好的模型。如果需要修改Ollama的默认设置(如模型存储路径或监听地址),可以通过配置环境变量来实现。,可以通过Ollama的WebUI或API与模型交互,而无需直接在命令行中运行模型。通过以上方法,即使关闭了命令行窗口,也可以随时重新启动并使用Ollama中的模型。这会将Ollama作为后台服务运行,即使关闭命令行窗口,服务也会继续运行。选中并点击“结束任务”。
2025-02-08 11:16:23
9303
原创 【通过pip安装 Open-WebUI 快速使用入门】
这种安装方法使用单个容器映像,将Open WebUI与Ollama捆绑在一起,允许通过单个命令简化设置。此方法安装所有必要的依赖项并启动Open WebUI,从而实现简单高效的设置。这两个命令都可以方便地安装Open WebUI和Ollama,确保您可以快速启动和运行一切。使用它在您自己的风险,因为它可能有错误或不完整的功能。如果你想尝试最新的前沿特性,并且对偶尔的不稳定性没有意见,你可以像这样使用。,运行Open WebUI就是轻而易举的事。与您的容器名称不同,请将其替换为您的容器名称。
2025-02-08 09:57:27
4622
原创 ubuntu安装mysql
mysql> update user set authentication_string=password('密码') where user='root' and host='localhost';ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '新密码';mysql_native_password:采用原生MySQL加密策略,避免第三方工具不支持。另外可以考虑使用宝塔安装mysq。
2025-01-08 11:35:51
387
原创 ubuntu 系统安装redis并设置远程访问
1、更新包:sudo apt update2、安装redis:sudo apt install redis-server3、安装完毕后会自动启动,查看状态:sudo systemctl status redis-server1、修改配置文件:sudo vim /etc/redis/redis.conf2、将bind 127.0.0.1 ::1注释掉3、将protected-mode改成no4、重启redis:sudo systemctl restart redis-server 1、修改配置文件:sud
2025-01-08 11:30:41
1102
原创 【CMMI】
在管理级水平上,所有第一级的要求都已经达到,另外,软件组织在项目实施上能够遵守既定的计划与流程,有资源准备,权责到人,对项目相关的实施人员进行了相应的培训,对整个流程进行监测与控制,并联合上级单位对项目与流程进行审查。模型,能够帮助组织提升绩效。行动(确保质量,设计和开发产品,交付与管理服务,选择和管理供应商),管理(规划和管理工作,管理业务弹性,管理员工),赋能(支持实施,管理安全和安保)和提高(维持习惯性和持久性,改善性能)。在执行级水平上,软件组织对项目的目标与要做的努力很清晰,项目的目标可以实现。
2024-11-21 09:08:12
1216
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人