- 博客(139)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 召回率和精准率-找书的例子
\text{召回率}=\frac{\text{找到的正确书的数量}}{\text{图书馆里所有正确的书的总数量}}][\text{精准率}=\frac{\text{找到的正确书的数量}}{\text{你找出来的书的总数量}}]• 精准率高：说明你找书的时候，大部分找到的书都是相关的，很少有无关的书混进来。这说明你找到了图书馆里所有相关书的一部分，但还有很多相关的书你没有找到。这说明你找书的时候，大部分书都是相关的，只有很少一部分是不相关的。• 召回率高：说明你找到了图书馆里大部分相关的书，没有漏掉很多。
2025-04-17 15:07:06
184
原创 AI平权加速两极分化的现象、成因与解决路径
最后，本文提出了推动技术普惠、加强教育与技能培训、优化资源分配、完善政策与伦理监管，以及加强国际合作等解决路径，以期为实现AI技术的公平与可持续发展提供参考。AI平权的加速虽然带来了技术红利，但也加剧了社会的两极分化。通过推动技术普惠、加强教育与技能培训、优化资源分配、完善政策与伦理监管，以及加强国际合作，可以有效缓解这一问题，确保技术红利惠及更多人，推动社会公平与可持续发展。尽管AI平权的初衷是促进公平，但现实中由于技术资源的集中化、算法偏见以及教育与技能的不平等，反而可能加剧社会的两极分化。
2025-04-16 08:54:01
431
原创 根据pdf文档生成问答并进行检索评估
1、将pdf放在opeai_blog_pdfs目录下，引用依赖。5、生成问题列表，这里需要注意chunk的大小及重合。目标是根据pdf文档生成问答，并进行检索评估。8、把所有问题存储在rows列表中。2、上传pdf文件，创建向量库。7、把所有文档的问题存在字典中。6、单个文档生成问题的过程。3、单个提问的向量检索。4、单个提问的检索结果。
2025-04-15 17:59:13
496
原创 长文档处理利器：Dynamic-YaRN
但有了动态 YaRN，模型就像用上了“智能望远镜”，可以动态扩展它的“视野”，看到更多的内容，比如4096个单词。动态 YaRN 技术就像是给语言模型配上了一副这样的“智能望远镜”，让模型能够根据需要动态调整它的“视野范围”，从而处理更长的文本。但有了动态 YaRN，模型就像用上了“智能望远镜”，可以动态扩展它的“视野”，看到多个段落的内容，从而更好地理解问题的背景，给出更准确的答案。它就像是一个配备了“智能望远镜”的模型，能够动态调整焦距，处理更长的文本，同时保持对细节的敏感性。如果文本短，就缩小视野。
2025-04-15 10:02:31
276
原创 3D建模模型Neural4D
Neural4D 是一个基于人工智能的3D建模和动画创作平台，它允许用户通过简单的文本或图像输入快速生成高质量的3D模型和动画，极大地简化了3D内容创作的流程，降低了创作门槛，适合设计师、动画师、游戏开发者以及任何对3D创作感兴趣的用户。• 高效创作流程：通过AI技术，用户无需复杂的3D建模软件即可完成创作，提供一键式操作，简化了传统3D建模和动画制作的复杂流程。• AI驱动的3D模型生成：用户可以通过文本描述或上传图像直接生成高质量的3D模型，几秒钟内即可完成复杂的3D对象生成。
2025-04-15 08:45:20
318
原创 RAG你可能只差一个RAGFlow
• 全程无忧、自动化的 RAG 工作流：流线型 RAG 协调，适用于个人和大型企业，可配置的 LLM 和嵌入模型，多种召回方式与融合重排序，直观的 API，便于与业务系统集成。• GitHub 仓库：https://github.com/infiniflow/ragflow https://github.com/infiniflow/ragflow。• 官方文档：https://ragflow.io/docs/dev/ https://ragflow.io/docs/dev/
2025-04-15 08:24:57
504
原创 Second Me + Ollama + Mac M2本地训练
由于ollama chat接口与OpenAI chat接口不兼容，本文尝试使用requests实现ollama本地模型的使用，这样Second Me就也可以使用本地ollama模型来做数据增加及MacOS上进行训练和推理了。
2025-04-10 17:45:00
641
7
原创 AG2多智能体系统：开启智能协作新时代
它提供了一系列功能，包括支持智能体之间的交互、使用大型语言模型（LLM）和工具支持、自主和人工参与的流程，以及多智能体对话模式等。• 对话支持与协作模式：AG2提供了多种对话模式，包括群聊、序列对话等，使得智能体之间的交互更加灵活，且协作模式更加自然和直观。LangGraph基于图的工作流设计，虽然具有高度的灵活性和可定制性，但在对话支持和协作模式的直观性上不如AG2。• 灵活性与定制化：AG2的模块化设计允许开发者根据需求选择和组合不同的模块，实现定制化的智能体系统，灵活性和可扩展性更强。
2025-04-10 08:26:15
342
原创 ollama embedding兼容OpenAI格式
ollama embeddings 端点：/api/embed，而非/embeddings，输出的格式与OpenAI不兼容，下面给出兼容的方式。推荐模型： bge-m3。
2025-04-07 16:31:55
216
原创 基于neo4j存储知识树-mac
修改登录密码，可以使用生成按钮生成密码，连接数据库，默认设置为neo4j://localhost:7687。2、安装neo4j for mac(neo4j-community-5.26.0-unix.tar.gz)1、安装jdk21 for mac(jdk-21_macos-aarch64_bin.dmg)3、使用默认neo4j/neo4j登录。
2025-04-03 15:13:52
461
原创 Oumi开源模型训练平台-mac尝试
Oumi是一个完全开源的平台，可以简化基础模型的整个生命周期——从数据准备和培训到评估和部署。无论您是在笔记本电脑上开发，在集群上启动大规模实验，还是在生产中部署模型，Oumi都能提供您需要的工具和工作流程。🚀使用最先进的技术（SFT、LoRA、QLoRA、DPO等）将模型从10M到405B参数进行训练和微调。🌎在任何地方运行——从笔记本电脑到集群再到云（AWS、Azure、GCP、Lambda等）🤖使用文本和多模态模型（Llama、DeepSeek、Qwen、Phi等）📊跨标准基准全面评估模型。
2025-04-01 15:56:53
147
原创 一行代码支持MCP
通过集成 MCP，你的 FastAPI 应用不仅能被传统客户端调用，还能与支持 MCP 的 AI 代理工具（如 Claude Desktop、Cursor 等）无缝对接，实现更智能的 API 交互。要让 FastAPI 应用支持 MCP（Model Context Protocol），可以使用 FastAPI-MCP 工具，它是一个零配置的工具，可以自动将 FastAPI 应用的端点暴露为 MCP 工具。# 挂载 MCP 服务器到你的 FastAPI 应用。安装 FastAPI-MCP。
2025-03-28 07:38:34
639
原创 OpenManus和OWL如何选？
ollama出结果推荐使用llama3.2（3B）和llama3.2-vision（11B），其它的较大的模型，如：qwen2.5:14b, llama3.1:8b都没有出结果哦。先说结论：推荐使用OWL，比较友好，OpenManus默认使用google引擎。且能出最终的结果哦。
2025-03-27 17:00:36
236
原创 大模型赋能长文本会话质检：开启智能质检新纪元
精心设计的提示词就像一把精准的钥匙，能够引导大模型在处理长文本会话时，将注意力集中在与质检紧密相关的重点信息上。无论是客户与客服之间围绕产品细节的多轮详细咨询，还是团队成员在项目协作中对方案的深入探讨，大模型都能如同一位经验丰富的质检专家，细致入微地分析每一句话的含义，判断其是否符合既定的质检标准。而如今，随着人工智能技术的飞速发展，大模型为这一困境带来了全新的解决方案，有望通过提示词交互迭代的方式，将准确率从 60％显著提升至 80％左右，甚至在个别质检点达到 90％左右，引发行业内的广泛关注与期待。
2025-03-26 08:00:28
380
原创 程序猿的 “新同事”：大模型写代码的 “魔性” 之旅
而大模型呢，没有人类那种 “我快被代码逼疯了” 的情绪波动，它只会按照自己的逻辑，坚持不懈地尝试，直到某一次，代码突然就能正常运行了！你心里已经开始打鼓了，可它呢，跟个没事人似的，继续乐呵呵地改第三版、第四版……它用这种看似 “魔性” 的方式，向我们展示了它在面对未知任务时独特的学习和适应能力，虽然过程让人抓狂，但最终的结果却可能让你眼前一亮，真乃程序猿江湖里的 “奇葩存在”！可神奇的是，这 “家伙” 偏偏不放弃，它就像个对代码爱得深沉的 “痴汉”，不管报错多么 “辣眼睛”，它都乐此不疲地尝试、调整。
2025-03-26 07:29:32
157
原创 正视大模型的缺点，利用大模型的优点。
• 训练数据问题：大模型的训练数据多来自互联网，数据质量参差不齐，可能存在错误、偏见或不完整的情况，导致模型学习到不准确的信息。• 模型架构与训练过程：大模型的复杂架构和训练方式，使得它在处理信息时更依赖于预训练阶段积累的知识，而容易忽略实时的上下文信息。• 输入数据的多样性：不同的输入数据可能触发模型的不同响应模式，尤其在数据分布变化较大的情况下，模型的输出稳定性会受到影响。• 训练过程中的随机性：大模型的训练过程涉及大量的参数调整和随机采样，导致模型在不同训练阶段的表现存在波动。
2025-03-26 06:36:44
572
原创 微调0.5 B-32B模型要达到85%的准确率需要的数据和资源-会话质检和会话小结
此时的模型如同一位行业大师，需要海量的数据来微调其对对话细节的把握，从而在质检和小结任务中达到极高的准确率，处理各种罕见和复杂的对话情况。这是人工智能领域的巨无霸，需要海量的高质量数据来微调其复杂的参数，以在最复杂的对话场景中达到卓越的性能，满足高标准的质检和小结要求。选择合适的模型规模和相应的资源配置，能够让您在人工智能应用的道路上事半功倍，轻松应对各种复杂场景，为您的业务发展提供强大的智能支持。这相当于一条小河，能够处理更长的对话内容，适合中等复杂度的对话场景，如一般的业务洽谈和多轮对话。
2025-03-25 20:32:57
408
原创 DS-R1 32B vs QwQ 32B vs Gemma3 27B
• 适用场景：适合在96GB内存的Mac上运行，但需要注意散热，尤其是在长时间运行复杂任务时。• 适合需要详细、结构化、全面解决方案的场景，尤其是编程任务，中文能力很强，但发热可能稍高。• 适用场景：适合在96GB内存的Mac上运行，尤其适合需要快速响应的任务。• 适用场景：适合在96GB内存的Mac上运行，尤其适合需要快速推理的任务。• 适合需要快速、高效、简洁回答的场景，推理能力强，中文能力出色，发热较少。• 适合资源受限的设备，推理能力强，但中文能力相对较弱，发热较少。
2025-03-23 13:19:04
676
原创 与人工智能沟通的技巧
但如果明确指出：“为一款面向年轻群体的运动手表撰写一篇 800 字的推广文案，风格轻松幽默，突出产品的智能功能和时尚外观”，AI 就能精准输出符合要求的内容。例如，一位编辑在审阅 AI 生成的文章时，详细指出：“这部分内容很好，但这里的逻辑不够清晰，需要重新组织一下。总之，人工智能是一个强大的工具，但只有通过有效的沟通和精准的需求对齐，才能真正发挥它的价值。在编程领域，不同的 AI 编程助手也有各自的优势。工程师在与 AI 的多次互动中，不断调整指令，优化专利申请文件的结构和内容，最终成功提交了专利申请。
2025-03-22 08:36:58
482
原创 GPT-4o微调SFT及强化学习DPO数据集构建
假设，已经标注的强化学习数据集df包含用户输入、首选输出、次选输出三列。假设，已经标注的训练数据集df包含了提示词、输入和输出三列。注意：强化学习DPO通常在微调SFT的模型上进行。
2025-02-12 16:33:43
503
原创 GRPO强化学习尝试-训练自己的R1推理模型
DeepSeek-R1以其低成本优势（训练成本只有国外模型的1/5，推理成本在优惠期间是01的1/27）在春节期间🔥遍全球，是否你也想使用自己的数据去训练一个R1模型呢？下面给出了这个训练的过程。说明3: 说明通过强化学习，模型不仅能根据Answer（正确奖励）自行完成推理推理，而且还能按格式（格式奖励）输出推理过程和答案。说明2: 在62轮之后，推理过程被格式化了，推理过程出现在标记中，答案出现在标记中。说明1：在62轮之前的推理输出，推理过程是没有格式化的。
2025-02-11 15:13:27
849
3
原创 DeepSeek_R1论文播客版
欢迎来到《AI前沿》，我是主持人Alex。今天我们有幸邀请到AI领域的专家Dr. Li，来和我们聊聊最近大热的DeepSeek-R1模型。Dr. Li，欢迎来到节目！ 谢谢Alex，很高兴能和大家分享DeepSeek-R1的研究成果。 DeepSeek-R1最近在AI圈引起了不小的轰动，尤其是它在推理能力上的突破。能先给我们简单介绍一下这个模型的核心特点吗？ 当然可以。DeepSeek-R1最特别的地方在于它完全依赖强化学习（RL）来提升推理能力，而不是传统的监督微调（SFT）。简单来说，它像是一个自学成才
2025-01-24 15:41:50
836
原创 DeepSeek_R1论文翻译稿
推理任务：(1) DeepSeek-R1 在 AIME 2024 上获得了 79.8% 的 Pass@1 分数，略微超过了 OpenAI-o1-1217。在 MATH-500 上，它获得了令人印象深刻的 97.3% 的分数，与 OpenAI-o1-1217 相当，并显著优于其他模型。(2) 在编码相关任务中，DeepSeek-R1 在代码竞赛任务中表现出专家水平，它在 Codeforces 上获得了 2,029 Elo 评分，超过了 96.3% 的人类参赛者。
2025-01-24 15:08:14
1516
原创 使用Dify创建智能体的一次尝试
广义上讲，包括自动驾驶、机器臂、机器人都属于智能体，另外一种是基于流程编排的智能体，如本文所要实现的智能体，流程和技能都是预先设置好的。下面以使用本地ollama模型，基于代理人根据客户个人信息提供风险图谱、风险呈现与法律依据和优先级风险与解决方案的需求做了一次尝试，给出具体的实现过程，希望对你有所帮助。Dify是一个流程编排的工具，支持RAG和Chat聊天，支持对接各种在线大模型和本地大模型接入，包括视频、音频模型（在线或本地）的接入。5、结合知识库检索的结果和客户信息及提示词输出风险图谱的结果。
2025-01-17 17:30:49
3129
原创 使用Dify创建个问卷调查的工作流
一个基于流程的智能体的实现，特别是基于业务的实现，使用Dify去实现时，通常都是一个对话工作流，当设计到相对复杂一些的流程时，如果将所有逻辑都放在对话工作流中去实现，那么这个对话工作流是比较复杂的，涉及的组件会很多，看上去就比较复杂，就和咱们使用程序实现某个功能时，需要模块化一样，一个工作流就对应于一个相对独立的功能模块，可以简化主模块对话工作流的复杂度，便于修改和维护，同时也可以方便重用。如：心理测试、教学考试。5、条件判断，为了演示方便，设置为常量3，实际应该设置为变量count（有20道题）
2025-01-17 17:30:26
3844
3
原创 使用Dify访问数据库(mysql)
1、在本地搭建数据库访问的服务，并使用ngrok暴露到公网。2、创建知识库，导入表结构描述。3、创建数据库访问工作流。4、创建数据库智能体。
2025-01-17 17:30:01
27419
31
原创 为啥国内8B模型性能不及gemini-1.5-flash、gpt-4o-mini等8B模型呢？
**数据质量与多样性**：Gemini-1.5-Flash和GPT-4o-mini等国际模型通常基于更大规模、更高质量的多语言和多模态数据进行训练。- **架构设计**：Gemini-1.5-Flash和GPT-4o-mini等模型采用了更先进的架构设计。- **评估方法**：国际模型在评估中采用了更严格的基准测试和人类评估方法。国内8B模型在性能上不及Gemini-1.5-Flash和GPT-4o-mini等国际模型，主要源于训练数据、模型架构、计算资源、评估方法和商业化支持等方面的差距。
2025-01-14 11:59:30
363
原创 大模型应用：可控会话小结
在实际业务中，如：电话销售场景、贷款业务场景都需要针对与客户的沟通形成小结，通常让大模型直接根据要求去生成小结面临输出不受控的情况，往往得不到预期的小结。以上方式存在一个问题是每次输出问卷结果不可控，更可控的方式是先将pdf格式的问卷让大模型转换为Mardown格式的问卷，然后使用提示词一来完成问卷填写。另外一种情况是，已经有了pdf格式的问卷了（在与客户沟通过程中，由坐席去填写的小结），一种方式直接让大模型去填写这个问卷。pdf格式问卷转换为Markdown格式问卷。
2024-12-24 15:47:55
255
原创 支持多语言的语义问答检索系统
本系统基于Faiss和SBert模型（sentence-transformers/paraphrase-multilingual-mpnet-base-v2，支持50种语言）实现，可以满足私有化场景下的NLP问答需求，问答可以来自于大模型的模拟生成，也可以来自专业人员的录入或是RAG场景的生成，以满足低成本、私域场景下的问答需求。考虑到业务场景的隔离，加入了client_id,bussiness_id, product_id进行索引的分开存储，避免相互影响，同时对新增的问答对使用了过滤，避免重复。
2024-12-04 15:09:34
427
原创 使用gemini-1.5-pro-002做视频检测
使用Google Cloud Video Intelligence API做视频检测最大的缺陷是无法自定义规则，若使用gemini-1.5-pro-002多模拟模型，则可以自定义检测的规则，具有更好的灵活性。
2024-12-02 18:07:42
331
原创 使用Google Cloud Video Intelligence API检测露骨内容
Google Cloud Video Intelligence API 是一个强大的工具，可以帮助你检测视频中的露骨内容。- 视频URI必须是Google Cloud Storage中的URI（例如 `gs://your-bucket-name/your-video-file.mp4`）。通过这些步骤，你可以使用Google Cloud Video Intelligence API有效地检测视频中的露骨内容。根据API返回的结果，你可以决定是否需要进一步处理视频，例如标记或删除包含露骨内容的片段。
2024-12-02 14:03:14
694
原创 使用大模型计算语义相似度
**原理**: 使用深度神经网络（如LSTM、GRU、Transformer等）生成文本的向量表示，然后计算相似度。- **原理**: 使用Transformer模型，生成上下文相关的词向量表示，然后通过模型输出的向量计算相似度。- **原理**: 结合词频和逆文档频率，计算文本中词语的重要性，然后计算向量之间的余弦相似度。- **原理**: 基于BERT，专门用于生成句子的向量表示，然后计算句子之间的余弦相似度。- **原理**: 使用共享权重的神经网络，输入两个文本，输出它们的相似度。
2024-11-29 10:04:28
1289
原创 如何写好大模型英文提示词-相似问/新问题
为了使得提示词能兼容不同的大模型，经过个人探索的经验是：用小的大模型写的提示词，比较兼容大的大模型。通常大的大模型的输出结果会更好一些。基本思路：直接使用中文询问大模型能否帮你写提示词，然后说明自己的需求，大模型就可以给出一个初始的提示词来，然后我们使用翻译软件讲其翻译为英文。下面给出一个使用qwen2.5 7B 多次迭代的提示词，主要目标是使用对话中客户说的每句话去语义匹配标准问列表，若匹配，输出相似问，若都不匹配，则判断为新问题。为了让大模型比较好的输出预期的结果，建议使用大模型来帮你来写提示词。
2024-11-26 15:51:48
637
原创 如何使用本地大模型做数据分析
工具：interpreter --local。输出：（输出最基本的结果，并提示进一步优化）输出：(每次输出的结果可能会不一样）2、显示数据文件内容。
2024-11-18 11:33:17
1717
1
原创 如何映射Jupyter服务到Nginx的/Jupyter下
起因：端口不够用，使用路径映射代理服务，如：用/jupyter代表jupyter服务。1、Jupyter启动：需要增加/jupyter设置。
2024-11-14 12:11:31
399
原创 大模型提示词优化-新意图识别
客户: 是的，您好！通常意图识别第三方接口都是使用检索的方式实现，主要是通用、成本低，若是使用机器学习或深度学习，一是不通用，二是需要标注，有大量的标注成本，大模型应用阶段，谁还愿意去标注呢？针对“对话内容“对话，要求从以下角度对客户的提问进行分类，如：不需要（没兴趣）、不需要（我有钱）、不需要（利息太高）、不需要（分期太长）、客户忙（在开车/在做饭）、需要（询问申请资料），若客户提问不在以上分类范围内，请仅给出新的分类名称和原文，以上JSON格式输出，不需要具体的分析过程，不需要显示已知分类。
2024-11-13 10:17:11
2169
原创 Mac M1下运行端到端语音模型Mini-Omni
三、默认使用的是GPU(cuda:0)，Mac M1没有GPU，Pytorch下Mac M1默认的是mps，但Whisper模型不支持mps运行，咱们使用cpu运行。需要将server.py，inference.py，webui/omni-gradio.py中'cuda:0'的值修改为'cpu'。Mini-Omni的贡献是让任意大模型都可以具有“听”和“说”的能力。不需要额外的ASR或TTS模型。✅通过“音频到文本”和“音频到音频”，能够同时生成文本和音频。四、安装ffmpeg。
2024-11-08 15:13:04
662
winsock全双工多客户端通信
2006-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人