Agent、AIGC、具身智能大模型方向的商业案例集锦

悟乙己

已于 2025-05-09 16:47:57 修改

阅读量2.1k

点赞数 6

分类专栏： LLM大模型文章标签： AIGC agent 商业实践

于 2024-05-05 14:17:30 首次发布

本文链接：https://blog.csdn.net/sinat_26917383/article/details/138465687

版权

LLM大模型专栏收录该内容

42 篇文章

订阅专栏

算是一份摘录

文章目录

1 AIGC
2 Agent / ChatBot / 大模型
3 具身智能
- 3.1 具身智能简史、现状与未来展望
4 企业大模型应用现状
- 4.1 企业内部LLM使用场景归类

1 AIGC

1.1 AIGC 对影楼的影响

https://mp.weixin.qq.com/s/3j-6FAxZEEvXUZ1q6by2uw

在这里插入图片描述

1.2 养眼的天工AI图片生成

https://mp.weixin.qq.com/s/YUvLHKLbJ6t6bK_1If6BNA
官方网址：https://www.tiangong.cn/chat/text_gen_image/004

可以理解多种语义，比如九宫格

完全免费

模型被养好图片大多数符合常规审美上的好看

天工的AI生图基于自然语义的理解，在风格上可以按照自己的想法进行陈述。现在市面上大部分风格都可以通过天工AI图片生成。

但在天工AI图片生成上，并不支持对图片的更多修改。并在细节理解上有很多歧义，比如区分不开“纯白背景”和“雪白背景”。而与之相对的是，天工生成的图片少有鬼畜，大部分图片都有“好看”这个加分项。

1.3 AIGC的数码印花按需定制供应链重构策略研究

基于AIGC的数码印花按需定制供应链重构策略研究（上篇）
基于AIGC的数码印花按需定制供应链重构策略研究（下篇）

在这里插入图片描述
本研究利用AIGC技术重构数字印花供应链，以满足个性化市场的需求。首先，本文分析了当前数字印花供应链所存在的问题；其次，构想了一个基于AIGC的新型供应链模式；然后，详细描述了个性化定制供应链的重构过程模型；最后，通过案例研究验证了模型和方法的有效性。研究表明，AIGC能够实现供应链的敏捷化和智能化，显著提升设计创新性和生产效率，增强消费者体验。

效果评估指标体系构建：

设计创新性和效率
生产调度和灵活性
库存周转和成本控制
市场响应速度和消费者满意度
经济效益和投资回报率
可持续发展指标

在这里插入图片描述

1.4 Soul 基于 AIGC 的实践与探索

Soul 基于 AIGC 的实践与探索

在这里插入图片描述

在音乐生成方面，我们开发了背景音乐（BGM）生成功能，又为用户提供了 AI 歌手功能，还实现了 AI 写词作曲和自动化一键创作歌曲的功能。
在这里插入图片描述

1.5 Style DNA - AI 穿搭造型师

离谱，这个 AI 穿搭造型师每年狂赚 300 万美元！

在最小可行产品 (MVP) 阶段，Style DNA 专注于开发两个在造型应用中比较罕见的独特功能：

1. 基于用户自拍的颜色分析
1. 通过内部商城提供购物辅助

在这里插入图片描述
Elena 紧跟热点事件。当 Met Gala 这样的时尚盛会举行时，Style DNA 的账号总是第一时间发布明星穿搭分析

一个分析 Zendaya 服装选择的视频就获得了 350 万次观看和 16.6 万个赞！这种及时性和专业性，让 Style DNA 迅速成为时尚爱好者的必关注账号

1.6 极睿科技：电商内容营销 AI

https://mp.weixin.qq.com/s/oj6Suk3snO6oX81G5kTZww

在这里插入图片描述
拥有电商垂直大模型

1.7 快手 Kolors 可图大模型应用实践

万字长文分享快手 Kolors 可图大模型应用实践

kolors的模型不过说，这里看一下几个衍生能力：

提示词润色能力：能很好的解决成语、文学概念、否定词、互联网热梗新梗，以及新概念的语义理解与表征问题，同时降低文生图大模型的使用门槛，从‘咒语’到‘人话’
文字绘制能力：
- 第一，无 Control 逻辑，现有的一些技术方案在文字绘制时需要先确定字的位置、大小、字体等，然后再绘制文字，而可图无需此类控制逻辑；
- 第二，无特殊提示词激活逻辑

在这里插入图片描述

交互式视觉生成能力：它允许用户通过自然语言与可图大模型交互，实现更加直观和灵活的图像生成（内测阶段）

几个应用场景：
应用实践一：AI玩评
在这里插入图片描述

应用实践二：AI人像
应用实践三：IP定制
应用实践四：图像融合
应用实践五：AI 扩图
应用实践六：直播+AIGC
应用实践七：小说漫
应用实践八：AI 商品
应用实践九：AI 模特

1.8 AIGC 赋能展示广告：大模型在小红书标题生成中的深度实践

AIGC 赋能展示广告：大模型在小红书标题生成中的深度实践

1.8.1 关键词感知生成模型训练

训练目标是能根据给定关键词生成标题。为了解决训练数据匮乏的问题，我们首先用笔记原生标题训练小红书领域预训练模型，通过随机采样为每个笔记生成多个标题。
然后利用通用大模型给标题抽取关键词，从而为每个笔记获得多组 <笔记 + 关键词, 标题> pair 数据，最后训练得到关键词感知生成模型。
在这里插入图片描述
风格感知生成模型训练
训练目标是能生成给定风格的标题。我们利用大模型自动标注的标题风格数据，获得 <笔记 + 风格, 标题> pair 数据，进而训练得到风格感知生成模型。

为了让一个模型实现上述可控生成能力，我们将大模型标注的推广对象、笔记/人群分层，以及各分层下的受控生成标题整合为一个 label，对小红书领域预训练模型建立端到端微调任务。推理阶段输入笔记，即可依次输出推广对象和多种生成标题。
在这里插入图片描述
目标是避免出现不通顺、实体不一致、幻觉case。通过人工标注收集了高质量的正样本和负样本，在此基础上，又通过数据增强手段构造了一些负样本，比如“复读机”、语句不通顺等。实验发现领域预训练和数据增强均给模型性能带来了明显提升。
在这里插入图片描述
目标是预估生成标题吸引力。通过人工标注收集了标题吸引力的排序数据，使用小红书领域预训练模型作为编码器得到文本向量，采用 pair-wise loss 训练，实验结果显示可以很好地学习到人工排序。

在这里插入图片描述

1.8.2 调性：和社区不割裂的广告标题

小红书笔记的标题生动有趣，但是标题越亮眼，技术越头痛：在普世视角下，标题和正文语义 gap 越大，标题越亮眼！
在这里插入图片描述
通用大模型很难通过正文推断出标题：因为标题包含了正文不存在的信息（是不是有独特内核的社区，都是有着大家心照不宣的默契），这种非对称的标题正文，离开小红书，确实是一个特立独行的存在，为了让模型适应小红书的领域特点，我们进行了如下工作：

预训练：使用亿级别的笔记数据以及通用语料对基座模型做了领域预训练
基于用户行为 SFT：高质量笔记标题数据，对小红书领域预训练模型进行 SFT

阶段一：采用采样生成，得到一对多标题
阶段二：考虑到阶段一要满足多样性的目标，需要生成大量的数据

分层 + 可控生成，业务上实现有向生成，大大降低了生成成本
风格 + 可控生成：基于专家经验归纳了以下五种标题风格显式、隐式、疑问、夸张、幽默
通过人工标注，获得标题排序数据，构建吸引力RM，逐层寻优，进一步提升效率

1.9 AIGC帮跨境商家们省钱的诀窍是什么?

AIGC帮跨境商家们省钱的诀窍是什么?
跨境电商的核心动线，交易动线和流量动线都有AI适用的场景，从流量营销、导购以及商品信息展示，到客服以及商家小二工具等环节，都可以用AI能力去做降本增效的工作。
在这里插入图片描述
在短视频和直播领域，特看科技数据产品负责人超空提到数字人主播能够提供多语言服务，包括汉语，英语等主要语言以及20多种小语种

数据洞察领域， Shulex中国市场负责人丛博以VOC为例，分享了通过AI技术可以为用户提供从市场到产品，再到客户反馈等多方面的数据挖掘服务，也称之为数据的格式化或标记化处理
在这里插入图片描述

1.10 阿里巴巴AIGC技术:Quick BI产品形态探索

阿里巴巴AIGC技术与数据分析的融合实践
在这里插入图片描述

NL2SQL

智能问数功能通过自然语言交互直接获取数据结果，基于NL2SQL技术开发，它的主要特色包括：

结果可交互：拥有强大的可视化展示能力，使数据分析结果更加直观；
易理解的AI处理过程：用户可以看到AI是如何一步步处理数据的，增加了透明度和可信度；

企业级功能：包括权限分析、主题嵌入、自有系统多端等，满足企业用户的需求；

多场景支持：能够处理复杂的查询语句，适用于多种不同的使用场景。

在这里插入图片描述
智能小Q产品技术架构

在这里插入图片描述

AI中间层：位于上层应用和大模型之间，主要负责任务分发及协同工作，确保模型和BI系统的高效配合。
BI基座引擎：作为支撑小Q的重要组成部分，BI基座引擎保证了整个数据分析的强复用性，承载了从数据连接建模到复杂的高级计算和分析的能力，为数据分析提供了强大的底层支持。
渲染引擎：负责整个图表的可视化展示以及交互式分析的相关能力，为用户提供了直观的数据展示和交互体验。

1.11 AIGC技术：如何用人工智能革新营销素材创作？

https://mp.weixin.qq.com/s/lh-QEBd6sowfri1AnaSgqQ

在这里插入图片描述

1.12 火山引擎营销套件帮助AIGC公司获客

原来AIGC公司，都是这样做增长

1.12.1 获客场景应用

通过增长分析DataFinder的广告监测和行为分析能力，可以监测不同广告渠道的投放效果（曝光、点击、激活等），并将推广渠道和广告特征贯穿于用户的整个生命周期分析中。

就能够洞察不同渠道引入的用户在使用产品过程中的行为惯性（如用户A看了小红书广告，下载注册了APP，在APP中完成了多轮chatbot对话，并在次日继续使用chatbot；此用户A的全链路行为数据均可记录分析），以实现全面评估各个渠道、不同终端引入的用户留存、流失、付费等情况。
在这里插入图片描述

1.12.2 产品优化

B公司选用了A/B测试平台DataTester，在新功能上线前，进行前置的随机公平的A/B测试和定向人群功能测试，对实验用户群进行分流，更科学地确定更优方案
在这里插入图片描述

1.13 淘宝AI试衣素材高效写入IC实践

淘宝AI试衣素材高效写入IC实践

▐ 淘宝试衣在其他合作场景

LAZADA详情：为没有模特上身图的商家替换东南亚模特试穿的详情主图
淘宝详情、购物车等：试衣标志，为有需求的用户提供试衣体验
BC消息：咨询界面为客户实时提供试穿入口，让用户看到真实试穿效果

在这里插入图片描述

1.14 银泰百货：如何用AI造出爆款【深度洞察】

https://mp.weixin.qq.com/s/RdfnsP3CX4_TFTRcu2_byg

银泰商品数字化发展的四个阶段
2017年：从单品管理入手，初步摸索。方式是自主拍摄为主，组建了5-6人拍摄团队，包括摄影师、修图的外包供应商、商品上翻人员等
2018-2019年：初步规模化。2018年，银泰百货的全域卖货从武林店扩展到60多个门店，由于拍摄严重依赖人工，产出有限，规模化是首要考虑的问题。
2019-2022年，品牌合作，快速拓展。期间重点是与品牌商沟通商品对接的工作，包括单品对接、商品数字化对接、会员对接、订单对接、履约仓能力对接等，与供应商品牌进行深度合作。
2023年至今，AIGC全面提升效率阶段。随着人工智能的爆发式发展，银泰百货也将重点转移到人工智能工具上，把AIGC的能力放在商品内容输出上,完成了自动拍摄能力的建设，包括模特替换、背景替换能力建设
2024年刚上线了关于模特搭配能力的建设。目前，银泰百货百货体系的畅销品中，80%已经完成了数字化，主要是基于AIGC达成效率上的全面提升

1.15 智慧门店：线下门店如何巧用AIGC，提升转化？

https://mp.weixin.qq.com/s/SEQsmYpG3QZUFuiva_vgrQ
当下门店在内容营销上存在诸多问题，首先，门店内容物料缺乏统一管理、个性化缺失以及缺乏数据驱动等。
当下不少线下门店借助AIGC已经全面提升营销内容在内容生产、用户交互、数据管理等多方面已有全面提升使得门店运营更加多元化、个性化。
一方面AIGC可以根据不同品牌调性，自动生成品牌所需的图文、视频等内容，自动智能审核，来确保物料内容符合品牌需求;另一方面AIGC能构建消费者画像模型，了解消费者需求、偏好和行为特征，从而提供个性化内容推荐；
同时通过分析物料在不同门店、不同时间段、不同消费者群体中的表现，发现物料效果的影响因素和规律，为后续物料设计和优化提供数据支持。

7-Eleven门店
多播放多为品牌活动或合作伙伴宣传内容。借助契胜AI内容运营平台后，7-Eleven根据不同地区市场特点结合节假日、营销活动、天气季节、市场反馈等多种营销因素快速生成菜单并依据不同类型门店情况进行个性化菜单、主推商品、促销活动展示。
大屏上线更加个性化创意营销内容比如出餐提醒动画、趣味美食视频等，进一步营造出门店的“烟火气”，提升顾客在“小食堂”的场景体验。

某卫浴品牌
卫浴品牌借助契胜为三家门店配备IOT设备，在屏幕上清晰展示几乎所有SKU。当门店内产品无法满足客户需求时，导购可以通过屏幕展示更多产品，确保找到符合顾客需求的选项。

头部某家居企业
面对多样化的风格和多空间场景需求，以及重要产品还需要涉及模特展示等情况，设计软件可以实现一定3D渲染效果，但效率并不理想。
[图片]

面对以上困境，企业借助帷幄Alivia，通过图像LORA训练，打造出符合品牌调性的图像模型，同时基于品牌方提供的产品轻拍图，Alivia快速生成多风格背景的图片

1.16 智能货物定损+智能图片

https://mp.weixin.qq.com/s/610tw5eUNmn6568dCC2LHw
依据异步调用的逻辑，现在vl大模型要先判断输入的单张图片是否存在货损，也就是判断这张图片有无价值，如果存在货损，然后识别货损情况，如果没有货损或图片中没有货物，货损情况输出“无”，这样后续在提取整合大模型结果的时候，可以直接提取出图片本身有无货损，根据这一字段结果来过滤无价值的图片，最终只保留有价值的定损结果；
在这里插入图片描述
提示词：


##任务一，判断图片是否相关
仔细观察输入的图片，如果图片中没有明显的货物或者图片中的货物没有明显的损坏，输出“不相关”，如果有明显货物并且货物存在损坏，输出“相关”；
##任务二，依据任务一的结果，识别货物的损坏情况
如果任务一的结果是“不相关”，受损情况直接输出“无”；
如果任务一的结果是“相关”，仔细观察输入的图片，识别出其中货物的受损情况，包括受损细节、受损位置、受损程度，并给出你的判断理由；

2 Agent / ChatBot / 大模型

2.1 出海Talkie ：情感智能体

https://mp.weixin.qq.com/s/KHPmfuVvywxxcI2rqoOghA

在这里插入图片描述
Talkie 为每条消息提供 3 个免费灵感，如果用户需要更多 AI 生成的灵感选项，则需要开通星月卡。

实际上，除了基础的文字互动，Talkie 还推出了语音聊天服务，Talkie 将语音服务命名为“专属时间”，按照场景可分为恋爱、说笑、陪伴、语聊、打电话、接听来电、故事和哄睡等 8 种类型，但用户选择不同场景时，智能体的讲话方式和表达长度会有所不同，用户可以按需选择，这也是用户在应用商店中留下的喜欢 Talkie 的重要原因之一。
在这里插入图片描述

2.2 易慧智能技术 - 多Agent在汽车行业落地实践

https://mp.weixin.qq.com/s/zqj7AtGu3gCAdjSnOhK7TQ

大模型为汽车行业带来的价值包括：

高效的流程管理
定制化的营销体验
增强用户服务感受
市场分析与预测
跨部⻔协作的促进

在这里插入图片描述
以用户运营为例的话，主要有以下 Agent：用户运营专员、质检专员、标注专员、建档专员等。

2.3 京东物流：利用大模型服务一线小哥的探索与实践

https://mp.weixin.qq.com/s/qFcNY4fyl92nCqFtbTHX2g

通过调研和分析，小哥有143项作业动作，可分类为：揽收、派送、站内、辅助、客户服务五大类，其中22项动作是系统外的线下动作，其他动作中有69项被认为有大模型结合的机会。在69项中我们选取了小哥揽收信息录入、外呼、发短信、查询运单信息、聚合查询、知识问答、精准提示等场景，通过大模型与大数据、GIS、语音等技术的结合，为小哥提供高效、易用的作业工具。
在这里插入图片描述
小哥查询信息，也可以通过语音输入，大模型识别意图，进行结果的反馈。如下是通过大模型实现的意图识别示例：

小哥智能助手中智能问答的实现方法如下：

【内容提取】业务文档格式多样，也包含各种内容元素
在这里插入图片描述

智能提示，小哥作业流程规范，以及履约中的时效预测和提醒等等，都可以使用大模型将复杂的业务文档和流程规范转化为小哥容易理解和执行的操作提示
在这里插入图片描述

2.4 AI赋能下的客服中心：策略、实践与价值创造

https://mp.weixin.qq.com/s/xSnftupvcC6i5f-wRu7ekA

探讨了AI在客服中心的多维应用策略，包括预测性排班、知识管理、员工培训、客户服务自动化、人工服务辅助以及服务监测等多个层面的创新实践

其中我对【智能定责】比较感兴趣：
该模型能够识别出导致服务中断的多种潜在因素，包括软件缺陷、硬件故障和操作失误等，并为每个因素分配一个责任权重。
在这里插入图片描述

2.5 腾讯文档AI助手技术实践

https://mp.weixin.qq.com/s/MNY6647V4hPByNzghyDUfQ

文档AI中台的概念初始于腾讯文档这款产品本身就存在10种品类，期望以中台解决方案的形式为不同品类进行赋能，同时也是这样实践和落地。此不仅仅在于腾讯文档产品本身，依据部门内整体产品矩阵，也更需要将文档xAI基础能力作为中台，交付和赋能不同的产品。
在这里插入图片描述

2.6 客服坐席辅助系统的探索与实践

客服坐席辅助的探索与实践

客服CRM系统的经验之谈：

【人员问题】：坐席在语音沟通过程中可能存在语速过快、情绪激动、个人知识能力差异、人员流动性高等问题。
【业务问题】：业务流程过长、业务体系庞杂、业务枯燥。
【服务问题】：服务标准难以控制、错误无法及时提醒、会话后质检接入较晚、监控指导少。
【培训问题】：上岗培训周期长、培训成本高、日常学习不及时、知识学习能力存在差异。

在这里插入图片描述
话前、话中、话后是通过会话处理阶段进行划分，即会话前、会话中、会话后：

话前部分：主要是提供事中部分的前置配置功能。
话中部分：坐席辅助实时处理功能，主要在客服坐席在与客户沟通过程中提供相关服务。
话后部分：主要提供客服会话结束后的会话查看以及数据分析相关能力。

2.7 大模型在新能源领域的应用：工业质检Agent

来自：大模型在新能源领域的应用

质检Agent 在这里插入图片描述
G8D 主要分为八个模块：发现问题、紧急措施、团队搭建、问题定义、短期措施、根因分析、长期方案、长措落地、预防再发生、经验沉淀与祝贺。

在这里插入图片描述

需要构建 8 个 Agent，每个 Agent 对于 G8D 的每一个 D 承担相应的任务。当把 8 个 Agents 构建成一个 team 的时候，就可以完成整体复杂问题的分析与处理。当然这其中需要对接数据系统和质量分析系统，并沉淀经验给上游系统（如质量分析、质量案例池等）从而能够回馈到整个系统中。
在没有 G8D Agents 之前，质量分析过度依赖工程师的经验，其经验也没有很好地沉淀下来，而 G8D Agents 系统不单实现了质量问题的快速分析处理，同时能快速沉淀经验。最后 G8D Agent 系统可以跟各个系统打通或是成为系统的重要组成部分，相当于各系统拥有 8D Agents 的能力，可以避免沉重的数字化系统建设，以轻量的 Agent 解决方案节约开发成本，全面加速问题解决效率。

2.8 大模型在小爱同学应用实践

大模型在小爱同学应用实践

2.8.1 小爱意图理解方式

在这里插入图片描述
小爱同学大模型采用的是 function calling 的方式。首先我们对所有 API 抽象出 function 的定义，包括这个API 的功能以及它需要的参数的描述。当一个 query 来了之后，会把这个query 和 function 的定义一起构造一个 prompt，给到大模型。
大模型会去做两件事情：

一是去判断要不要用预定义的 Function。
第二个任务是如果选择了某个 function，要给出 Function 需要的参数。比如今天到上海的火车票，大模型识别的这个 function 是一个 Search_train，然后给出来参数是 time 和 arrival。这个时候会去检查他的槽位是否满足 API 执行的条件。如果是，就去请求 API 得到 API 的结果，然后给到大模型去做回复。如果没有就可以直接回复，或者参数不完整的时候，也是大模型直接回复，然后引导用户去补充或者澄清。

Function calling 难点：

（1）如何保证 100% 的指令遵循，大模型微调的话也是分了两步，第一步是做了继续预训练；第二步就是做指令的微调
（2）Function calling 依赖关系，串行的方式，类似 ReAct = reasoning 推理规划（意图理解里就是输出 Function） + 单 function 的执行（ Function 执行）
解决多 Function 并行可以用编程语义来表达，类似 LLMCompiler。可以并行的 Function 会同时执行，可以减少响应时间。

LLMCompiler 会有三个组件：

LLM Planner 大模型规划：规划分解为子任务，并识别各子任务的依赖关系
Task Fetching Unit 任务获取：无依赖关系的子任务，并行执行；有依赖关系的子任务，在完成上一任务后，再进行分发执行
Executor 执行：以异步和并发的方式执行从任务获取单元获取的任务

在这里插入图片描述

2.8.2 大模型回复的问题

在这里插入图片描述
通用大模型回复存在的主要问题是：

时效性。最经济的解决方式就是利用 RAG，外挂知识库，让大模型基于检索到的知识来做回答。
长上下文理解。由于 RAG 通常冗余地注入知识，来保证知识的召回率，会使 token 数很多，对大模型上下文理解能力的要求就更高。
指令遵循。我们的场景下，为了保证用户的体验，期望回复简单，不要做信息的罗列。特别是当商品属性众多，需要明确哪些属性是用户关心的。通常是产品定义。大模型难以遵循指令只输出关键信息。

2.8.3 RAG 场景下大模型回复

RAG 场景下大模型回复，大模型需要具备如下能力：

知识总结。比如推荐一款手机，注入知识之后，要把用户关心的那个手机的一些参数给出来。
信息抽取。比如小米十四的像素是多少，我们希望大模型能够从我们注入的知识中，把小米十四的像素信息准确地提取出来。
复杂推理。比如推荐一个拍照好的手机，大模型需要理解这个拍照好对应的是相机的参数。再比如对比一下小米 14 和小米 14 pro 的差别，那大模型需要从注入的知识中，把这个小米 14 和小米 14 的 pro 的参数差异给出来。
多轮对话。多轮的时候经常会有缺省的部分，第一轮我说小米十四的价格，然后第二轮是像素是多少，那我当然希望他回答是小米十四的像素，而不是其他手机的像素。
兜底回复。因为会有一些知识缺失，或者是知识未检索到的情况，我们不希望大模型去杜撰。比如小米 17 什么时候发布，注入知识中肯定是没有小米 17 的，我们希望大模型能够具备抗干扰的能力。

2.9 货拉拉利用大模型打造多场景个人、办公助理实践

货拉拉利用大模型打造多场景个人、办公助理实践
AI 驱动下实现业务赋能，具体可分为以下 5 个阶段：
在这里插入图片描述

2.9.1 专业助手

总结了一个 80 分 prompt 的框架和原则：清晰明了地提供业务背景和角色定位，简单直接地描述任务，清晰罗列业务特殊情况，并提供必要的引导
在这里插入图片描述

2.9.2 AI 问答助手

AI 问答助手可以分为两类：无标准答案（综合问答）、有标准答案（精准问答）。基于 LLM 的 AI 问答助手业界有搭建范式“业务知识库+RAG+LLM = AI 问答助手”，搭建范式可以解决大多“无标准答案”的搭建问题，但针对“有标准搭建”的精准问答效果差。
在这里插入图片描述
具体地，将助手分类（是否需要问答、有无标准答案、是否需要精准问答），结合个性化 RAG，对于标准问答单独处理，提升业务业务精确率，针对其他的日常处理侧重提升效率；同时结合 prompt 针对性优化，强调信息准确提取，设置兜底回复，综上几方面即可以实现 AI 问答助手的综合提效。
在这里插入图片描述

2.9.3 周报生成助手

我们需要搭建周报 Agent，做到有数、有图、有结论。具体地

有数：真实数据情况，心中有数；可连接数据库或 API，获取真实数据
有图：可结合 Code Interpreter 工具生成图表
有结论：结合 LLM 能分析会总结的能力，提供最终结论
通过综合应用这些技术可以搭建周报生成 Agent，实现数据获取、图表生成和结论分析。

同时有零代码平台可高效搭建周报生成 Agent 快速复用，只需三步操作：描述目标、配置工具、调试上线，即可高效搭建周报生成 Agent。

2.9.4 多模态 AI 助手：车险报价方案生成助手

车险报价方案生成，业务需要处理多个公司图片形式的报价单，对比图片中的内容生成报价方案。前面聊 LLM 可以解决专业问题，可以支持 AI 问答，那只用 LLM 能实现车险报价方案吗？
车险报价 agent 需要具备六个关键能力：

敏感信息的处理能力：能识别并过滤敏感信息
图片理解：线下手机多个公司报价图，需能理解图片内容
表格理解：报价单信息基本均为表格，且不同公司的格式不同
关键信息识别：提取每个图中所需的关键信息字段
信息汇总提炼：提取的信息汇总后提炼
报价方案生成：理解数据和内容，自动生成报价方案

2.9.5 多模态 AI 助手：AI 培训对练助手

融合了数字人、大模型、ASR 和 TTS 提供智能化 AI 培训服务，实现了在线学习、练习和考试，综合提升业务能力。
在这里插入图片描述

2.9.6 多 Agent 助手

在 IT 助手场景中，我们针对各业务场景搭建独立 agent 聚焦各自场景问题问答，例如，办公设备 agent（聚焦解决 vpn 相关问题）、邮箱 agent（聚焦邮箱相关问题）、网络 agent（聚焦网络相关问题）；采用路由 agent 硬控，提升业务整体精确率。这种多 Agent 协同的工作方式，使得我们能够更高效地应对复杂的业务需求，提供全面的解决方案。

在这里插入图片描述

2.10 基于大语言模型的海外KOL视频总结与问答

AI生产实践 | 基于大语言模型的海外KOL视频总结与问答

针对这种UGC平台的产出视频，进行基于大语言模型的内容总结和问答还是很适合的
将任务步骤分成3个大模块：数据提取、内容总结和内容问答。比各类常见方案的优缺点。
在这里插入图片描述

2.10.1 数据提取

获取特定视频的字幕信息

2.10.2 视频内容总结

直接在给ChatGPT的prompt中加入导出的字幕，并让ChatGPT对上述文本进行总结，但是会出现长文本问题，针对这种情况，业界一般分成如下几个方式处理：

截取前N个token长度的内容进行总结。
采用更加先进的模型，例如GTP-4支持32k上下文，其他模型支持也可以支持更长上下文，比如Moonshoot的KIMI。
采用分割/抽取的方式，分阶段完成信息输入，然后总结。

我们选取了youtube上的某个游戏的视频，游戏主要是KOL试玩游戏并分享故事剧情内容，下表分别对比方式一和方式三中的两种方法：
在这里插入图片描述
三者优缺点：

截断式在信息内容上缺失（比如没有说建立基地等内容）
（优选） 分段迭代式会在细节上更加丰富而且有内容的连续性
分段组合式看起来比较割裂，虽然信息上并没有缺失，但是整体的效果并不好

2.10.3 视频内容问答

基于RAG(retrieval-augmented generation)的方式，可以有效地解决某KOL内容较多的问题
在RAG的实现方案中，核心的两块内容为文档分割和内容召回。文档分割，将整个文本切割转化为若干的段落，然后将每个段落转化为一个embedding向量，存储在向量数据库里。内容召回则是根据用户输入的query，进行检索，将相关的信息挑选出来用于回答问题。

2.11 走进京东零售广告研发部：大模型时代下的新一代广告系统

走进京东零售广告研发部：大模型时代下的新一代广告系统

2.11.1 广告用户意图理解

query的高相关召回率不足的情况包括以下几点：

泛词的多意图：侧重知识类，词与具体商品之间需要知识关联，例如：水果，生日礼物，灯；
歧义词的多意图：多意图query下，基于样本生成逻辑，会偏向主意图，弱化甚至丢失次意图，导致召回问题，例如：小米（粮食or手机？），苹果（水果or手机？）；
长尾类目冷启：由于用户点击数据的马太效应，使得大量的长尾类目没有曝光机会，类目下商品无法获得点击，加深了模型无法得到长尾类目训练数据的问题，例如：服务类，健康类，工业品类；
长尾query的多意图：由于用户背景和表达习惯不同，对同类商品需求，会有多种表达方式，产生很多长尾query。模型给出的类目不准，因此产生的点击数据也不够准确。

解决方案：针对训练样本的类目高度不平衡问题，我们设计了生成-匹配模型，预训练一个query生成模型+query-SKU匹配模型，生成模型用来根据SKU的标题/属性信息生成query，匹配模型用于计算生成query和原SKU title的相关性分数，卡掉低质量的query，保证生成query的质量。

生成数据样例：
在这里插入图片描述

先验知识注入模型解决中长尾类目召回不足导致的商家获量困难问题

解决方案：通过引入先验知识和模型的优化，增强模型对电商知识的感知，弱化模型对后验反馈的依赖：引入先验知识：类目语义知识、类目共现/语义关系图。通过提取类目名、类目的产品词等，代表类目侧的语义表征。通过类目关系图，反映类目共点击和语义相似关系，实现头部类目带长尾（相关）类目来提升召回率。

在这里插入图片描述

2.11.2 生成式推荐系统

相较于传统RS，生成式推荐系统具备如下的优势：

1）简化推荐流程。实现从多级过滤范式（discriminative-based，判别式）到单级过滤范式（generative-based，生成式）的变迁。
2）具备更好的泛化性和稳定性。利用LLM中的世界知识和推理能力，在具有新用户和商品的冷启动和新领域场景下具备更好的推荐效果和迁移效果。

生成式推荐涉及两个接地（grounding）过程，“将语言空间接地到推荐空间”和“将推荐空间接地到实际商品空间”。实现步骤包括：

步骤一：商品量化表示阶段：选取高点击商品的标题、类目等语义信息，经由编码器模型获得向量表示
步骤二：继续预训练阶段：
- （1）量化token扩展大模型词表并完成初始化
- （2）语义ID和商品文本信息互译任务

提示词:
请告诉我,商品的四元组表示为{input_turple}的标题是什么？
输入:
<a_1><b_2><c_3><d_4>
输出:
华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白

提示词:
请告诉我,商品的标题是{input_title}, 它的四元组表示是什么?
输入:
华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白
输出:
<a_1><b_2><c_3><d_4>

步骤三：微调阶段

非对称商品预测任务1:
提示词:
用户历史浏览的商品的四元组序列为{input_tuple1, input_tuple2, ..., input_tupleN},
请帮我预测用户下一个要浏览的商品是什么？
输入:
<a_1><b_2><c_3><d_4>,
<a_1><b_2><c_3><d_7>,
<a_1><b_2><c_3><d_9>, 
<a_1><b_2><c_4><d_2>
输出:
华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白

步骤四：DPO阶段

提示词:
用户历史浏览的商品的四元组序列为{input_tuple1, input_tuple2, ..., input_tupleN},
请帮我预测用户下一个要浏览的商品是什么？
输入:
<a_35><b_87><c_282><d_347>, <a_35><b_89><c_17><d_363>, <a_112><b_140><c_435><d_946>, <a_112><b_103><c_449><d_942>
正例: 
<a_21><b_37><c_138><d_524>
负例:
<a_21><b_188><c_357><d_377>

2.12 京东零售内容合规团队都在做什么？

京东零售内容合规团队都在做什么？
要解决京东域内商家发布商品价格标价虚高的问题，
我们基于流量表现数据我们将商品分为价格可信商品、价格不可信商品
对于价格不可信商品，有站内可比价商品的基于价格比对进行判断，否则基于价格预测模型进行兜底，下面是关键能力的一些粗略介绍：

在这里插入图片描述
价格预测大模型
•基于站内商品的历史成交数据，明确商品的合理价格区间，构建价格锚点数据集，下图是某同品组价格与成交的分布图。然后，基于已有商品价格构建“价格预测大模型” ，输出商品预测价格以及预测置信度。
在这里插入图片描述

商家触达与治理
模型化方案的优势是可以快速覆盖类目，并有效覆盖价格虚高的违规case，商家治理需要更高的精度，可以作为识别漏斗，结合业务规则进行圈选和治理。商家经营建议不需要太高精度，我们增加了商家触达预警的方式引导商家合理设置价格。

在这里插入图片描述

2.13 智能NPC的多维进化：腾讯在AI领域的探索与应用

https://mp.weixin.qq.com/s/UAMNHpCrMfG6sfllw2pvhQ

好的 NPC 需要具备哪些特征？
在这里插入图片描述
一个 NPC 的技术点梳理为 3 条主线：

对话（基础与核心），包括基础的开放对话能力，和高级的记忆和策略等能力；
表现（包括：语音、面部、动作），主要是表现层面的能力；
系统（多模态系统整体运行的性能），NPC 是一个在线的能力，其次是如何让这些能力更好地作为整体来提供服务，主要是解决系统的时延和吞吐上的研发。

2.13.1 技术栈1 ：对话需要构建RAG知识库

一些经验：

提升RAG精度的方法。知识库构建看似简单，但如果构建不当，会对最后生成的准确率造成很大影响。行业里，大家经常也听到 chunk 大小对最后知识召回影响很大。这里介绍 2 个实践中的关键点：首先，不仅仅是保存切片，在此基础上进行多维度知识总结；其次，对关联知识进行聚类后 LLM 增强。通过这两个方法，准确率从最初的 62% 提升到了 67%，并最终提升到了 74%。
如何适配多维度的知识库内容。领域微调的效果显著
如何支持有上下文关联的内容召回？一个是结合上文利用 Query 改写能力来恢复当前句意后再做检索召回；另一个思路是微调编码器，直接让编码器具备编码复杂上下文的能力。

2.13.2 技术栈2：拟真

分为两个层次：
拟真基础要求：符合人设、游戏世界观；
高级类人策略，比如：长期记忆、规划、反思、话题引到等。

行业上关于类似场景的解决方案，主要是通过提示工程，大模型效果能否被激发出来，关键看 prompt 设计的是否到位。
之所以要做长输入理解优化，主要基于三方面的考虑：

业务场景的需求：基于 RAG 的人设扮演 prompt 通常很长
模型能力的要求：当前模型随着长度增加，对话效果骤降
系统能力考量：放宽检索长度限制，减轻检索模块压力

2.13.3 安全合规

安全合规上的方案主要包括三个部分：

首先是对输入进行识别，一方面利用传统方法对敏感词进行检测，可以过滤掉一大批敏感内容，另一方面还利用大模型对于敏感内容进行识别。
第二个部分是，模型在生成的时候，要规避风险问题，更加委婉地回复。
第三个部分就是事后解决，如果有些用户问到敏感内容，那么会对用户进行封号，封几个小时或者几天，或者更长。

2.14 AutoBots在ToB订单履约场景的落地应用

https://mp.weixin.qq.com/s/bKp9R88phff4qHGFTayQUA

在这里插入图片描述

金鹏大哥Agent
在这里插入图片描述
智能地址匹配，干预财税风险

地址匹配器Agent：AutoBots叠加京东言犀大模型，总调用量200万+次，筛选出85%非虚假运单。商家与履约技术部对此搭建了地址匹配器Agent。智能体在运单配送过程中自动执行配送站点与订单地址的校对，确保二级地址准确对接，有效遏制了物流轨迹缺失、错误妥投及客户投诉等问题，显著降低了B端开票风险，为业务的稳健运营提供支持。

2.15 快手B端商业化技术探索：基于LLM构建智能RAG与Agent平台

https://mp.weixin.qq.com/s/YmEEvfVWFne-RN4dt3ciPg

RAG技术链路

RAG技术链路分为离线与在线两大核心部分：

离线链路：由于快手大部分知识都是以云文档的格式存在的，且包括对内、对外两种形式，彼此引用与扩展
在线链路：在线链路由检索（R）、向量召回（A）与生成（G）三大环节紧密组成

Agent的意图执行

在实践初期，大模型在意图识别上的表现不尽如人意。一方面我们优化了Prompt，将若干意图shot融入其中；另一方面我们升级了LLM，部署了qwen2-7b，最后由于Prompt长度有限，我们对意图清单做粗排以支持300+的意图识别，之后整体的意图识别效果得到显著提升。

在这里插入图片描述
每个子任务由不同的Plugin处理。目前，实现这一能力主要有两种方式：

一种是预定义执行逻辑，即在明确意图后，通过人工编排大模型的执行路径；
另一种则是大家谈得比较多的ReAct模式，即让AI在推理过程中动态决定执行步骤。虽然推理+执行这个概念特别性感，但稳定性不佳，比如说AutoGPT最好的表现只有50%左右，直接把这套东西推到线上系统是不可接受的。

在这里插入图片描述

2.16 58商业搜索场景中的算法实践

https://mp.weixin.qq.com/s/oJ8SSkB1-NoIRcjAfWmqEQ

2.16.1 服务实体的挖掘

对文本【上门维修冰箱、电视、洗衣机等家电】进行服务实体提取，序列标注方案无法进行提取，基于SPAN的NER可以提取，但长文本下复杂度较高。而生成式大模型可以很好解决这类问题。

在这里插入图片描述
我们通过大模型对详情文案中实体进行挖掘。

prompt:
你是一个出色的文本关键词提炼工具,我是一个寻找本地生活服务的用户,正在从商家描述中寻找商家可提供的服务项目。商家服务项目是商家可提供的服务内容,可以解决我遇到的生活难题,如"同城搬家"、"附近开锁";商家服务项目不是商家提供服务项目时提供的服务承诺或者商家的服务特色。请你根据上述我对商家服务项目的定义,帮助我从商家文本提取商家服务项目关键词。
要求：
1)充分理解商家的描述内容,遵从商家描述原文描述;
2)禁止输出重复的商家服务项目关键词;
3)禁止输出商家的服务承诺，如"上门服务"、"安全承诺";
4)输出的词是由动宾结构组成的复合短语，每个短语都描述了一种具体的服务或行为，如"维修自动门"、"同城搬家"、"道路救援";
5)输出格式要求:输出的服务项目使用","分割,并以"关键词"开头输出;
6)禁止输出地名的词，如"成都"。
回答后,不需要输出你回答内容的原因。
以下是一个示例，以便你更好地理解我的诉求:
示例:
以下是一个商家描述:
高价回收黄金首饰、铂金钯金、足金回收千足金、金条项链手镯耳环戒指、钻戒。支持上门回收丨黄金免费上门无上门费 免费鉴定 不压价国际行情价黄金、金银首饰回收【黄金】1、黄金回收：千足金、足金、24k、22k金、20k金、18k金、万足金、14k金、金条、金砖等所有黄金。
关键词：
回收黄金首饰、回收铂金、回收钯金、回收千足金、回收金条、回收项链、回收手镯、回收耳环、回收戒指、回收钻戒、回收黄金、回收金银首饰、足金回收、金条回收、金砖回收
以下是一个商家描述:{商家描述}
response：{人工标注服务实体}

随着微调数据量提升，准确率有所提升：此处过滤非实体文本规则是根据 badcase 定制业务规则

2.16.2 服务承诺挖掘

商家对服务的承诺，有一定特色，如下图横线部分

在这里插入图片描述

大模型挖掘方案：

分段式抽取；对于复杂任务，思维链模式下效果更好；因此先生成摘要，再抽取承诺；与服务实体相同，进行 1shot 提示
分类目挖掘；因为不同类目下商家描述格式有所不同，模型学习不够全面，因此准确率只能到80%+；分类目微调，每个类目300个样本进行微调后，准确率可收敛到90%+；因为黄页类目有200+，我们只选取 Top 类目进行微调

2.17 大模型在爱奇艺视频搜索中的应用

https://mp.weixin.qq.com/s/K02gGawk_4Ej5rWlPxfAZQ

2.17.1 基于COT技术的TIPS生成

将TIPS生成任务拆解为两个步骤。

第一步，从众多信息中提取影片的亮点，从而过滤掉原内容中大量无用信息，保留核心信息。
第二步，将亮点信息最终组织成一条有吸引力的TIPS内容。

以《手机》这部作品为例，

第一步，从原始内容抽取出亮点信息：
著名从业者：导演冯小刚，主演张国立、葛优
改编信息：改编自刘震云同名小说《手机》
吸引点：冯式幽默, 讽刺现实, 婚姻危机, 三角恋
剧情简介：本片讲述了主持人严守一因手机导致婚姻危机的故事
第二步，然后，根据以上信息模型再进行总结，生成这部作品的推荐语：
《手机》由冯小刚执导，葛优、张国立主演，改编自刘震云同名小说，是现实题材与冯式幽默的完美结合。

在这里插入图片描述

2.17.2 语义找片

AI搜索功能还支持多种搜索方式，包括角色搜索、剧情搜索、明星搜索、奖项搜索和语义搜索等，需要构建RAG知识库。
其中有一些技术问题经验：

1 Chunk块大小的选择
自适应的chunk大小，根据文本的特点动态调整chunk块的大小。例如，对于结构化的文本，如问答对或者对话轮，可以将整个语义块作为一个chunk。而对于较长的段落，可以根据标点符号或者换行符将其拆分为多个chunk。

Jina-ai提出了一种Late Chunking[2]方法，该方法先对文本进行Embedding，然后再进行分块。具体步骤是首先将Embedding模型应用于整个文本，为每个token生成一个包含丰富上下文信息的向量。接着，对这些token向量序列进行平均池化，进而得到考虑了整个文本上下文的chunk Embedding。

经过实验后，最终选定了自适应语义切分方法，这种方法在保障同一语义内容被切到同一块的同时，也能保证整体chunk块的大小统一。
在这里插入图片描述

2 Embedding模型选择

OpenAI embedding模型
Google embedding模型
Cohere embedding模型
BGE embedding模型

2.18 小红书搜索：生成式检索的探索与实践

https://mp.weixin.qq.com/s/yApGxCGxjWnZQu8PoO9Qeg

在这里插入图片描述

本篇对比了两个检索：

生成式检索：第二种是今天要介绍的主题 GDR，根据 query 直接生成笔记 ID 或文档 ID，要求对检索系统的召回环节进行较大改动
密集检索：利用语义向量匹配机制

生成式检索的过程：

给定一个 query，生成式检索的编码端首先得到一个向量，然后将这个向量给到文档解码器，用 Beam Search 解码策略逐步得到每篇笔记的 ID。这意味着笔记需要通过 ID 进行表示，可以是单值或一串序列的值。预测过程是给 query 直接生成笔记 ID，而不是先得到 query 的向量，在欧氏空间和笔记向量进行计算找到最相似的向量。其本质是利用记忆机制，因为 query 进去后，笔记没有拿出向量，所以要求模型根据 query 记住相关笔记的 ID 序列。

2.19 AIGC如何在大数据研发治理领域落地？

AIGC如何在大数据研发治理领域落地？
大模型技术在数据资产方向的创新实践

打造一个一站式的数据资产门户，旨在简化数据消费的流程，以此促进数据的高效生产。
在这里插入图片描述

2.19.1 找数助手

整体架构
在这里插入图片描述
几个技术核心点：

多轮对话问题合并：会根据上下文提问或回答，因此上一轮和下一轮的问题存在关联性
意图判断：需要根据不同场景进行定义

2.19.2 大模型在检索中的应用

构建初期，使用了传统的工单词检索模型。该系统基于RAG（检索增强生成）架构，存在的问题：

低准确率，直接使用embedding模型进行排序，准确率的天花板较低
黑话和常识性问题：会存在黑话（行业术语）和常识性问题，影响查询的效果
同义词和问法差异：用户询问“我想找xx表”和“给我推荐一下xx表”可能得到不同的结果，但实际查询意图是相同的
各自的优化方向：
优化Embedding
引入Reranker模型
利用LLM进行结果混排

混排的重要性：混排的引入不仅提升了模型的能力，还为用户提供了更快、更准确的检索体验：
在这里插入图片描述

2.20 京东大模型革命电商搜推技术

京东大模型革命电商搜推技术

从电商用户的消费决策链出发，用户从需求的产生到最终决策下单，可以拆解为购前、购中、购后这三个阶段。
在这里插入图片描述
技术演进过程：

整个 AIGC 框架的关键技术：

核心去除站外和站内商品相关数据中的噪音，提升专有数据的电商知识密度，整体流程如下图：

电商搜索场景下大模型应用实践：

2.20.1 搜索交互

在电商平台上，搜索交互是用户找到满意商品的关键环节。通过大模型的应用，我们可以实现更智能的 query 引导，帮助用户更快地找到所需商品，同时降低交互成本，提升搜索效率。
在这里插入图片描述

2.20.2 电商用户意图理解

电商意图理解的主要目标是：

解决用户需求表达与商品语义对齐问题：确保用户输入的搜索 query 能够准确匹配到相关商品。

提升商品召回的相关性和多样性：提供高相关搜索结果的同时保证结果的多样性，满足不同用户的需求。

提升用户转化率（UCVR）：通过优化搜索体验和结果，提高用户的购买转化率。

意图理解需要在以下几个方向上进行优化：

Query 理解：

分词：将用户输入的搜索词进行合理的分词处理，提升理解精度。
实体识别：识别搜索 query 中的关键实体，如品牌、型号等。
类目预测：预测用户搜索的商品类别，提升召回精度。
品牌识别：识别并理解用户搜索中的品牌信息。
改写：对用户输入的 query 进行智能改写，优化搜索结果。
需求识别：理解用户的具体需求，如购买意图、用途等。

商品理解：

商品 SKU 理解：深入理解商品的 SKU 信息，提升匹配度。
商品图像理解：通过多模态大模型图像识别技术，理解商品图片内容。
SKU-to-Query：实现商品 SKU 信息与用户搜索 query 的精准匹配。

2.20.3 文案创意生成

在这里插入图片描述

2.20.4 电商搜索相关性

搜索相关性是影响用户体验和购买转化率的关键因素

在这里插入图片描述

方案一：Prompt 工程应用 + 数据增强蒸馏

Prompt 工程应用 是一种通过设计和优化输入提示（prompts）来引导大模型生成更准确和相关的输出的方法。在电商搜索场景中，精心设计的 prompts 可以帮助模型更好地理解用户的搜索意图，而不需要后训练，从而提升搜索结果的相关性。
数据增强蒸馏 则是通过生成更多高质量的训练数据来提升模型的泛化能力。利用调试优化好的大模型 +prompt 工程来标注数据，再通过蒸馏技术将这些数据整合到模型的训练过程中。

方案二：增强预训练 + 相关性对齐

增强预训练 是指在模型预训练阶段引入更多领域相关的数据和任务，以提升模型对特定领域的理解能力。在电商搜索场景中，可以通过引入大量商品描述、用户评论和搜索日志等数据进行预训练，使模型能够更好地理解商品和用户需求之间的关系。
相关性对齐 则是在模型训练过程中，通过设计特定的损失函数和优化策略，使得模型输出的相关性评分更符合实际需求。具体来说，可以通过引入多任务学习、对比学习等方法，使模型在学习商品相关性的同时，兼顾点击率（CRT）和转化率（CVR）等关键指标，核心是需要考虑搜索系统的收益。

2.21 1688 AI导购探索：智能体驱动的场景化导购实践分享

1688 AI导购探索：智能体驱动的场景化导购实践分享

2.21.1 买家对话意图和行为动线意图识别

在线上环境中，意图分析经常会出现错误。
例如，用户询问关于尺码的问题，但系统却将其解读为关于材质的问题。对于这种情况，需要建立相应的反馈机制。
目前的处理方式是将这类案例存储在错误库中。有了错误库之后，整个流程就遵循检索增强生成（Retrieval-Augmented Generation）的逻辑，即在接收到问题后，需要补充知识内容以构建一个信息量更丰富的上下文。

在这里插入图片描述

2.21.2 计划式学习-用小模型追踪对齐任务状态

计划式学习 ：可以以购买手机支架为例进行阐释：模型应具备任务识别能力，为完成购买手机支架的目标，需制定商品搜索计划

什么是对齐训练？
笔者自问自答，需要准备类似下面的数据集：模型可以学习哪些输出是合适的，哪些是不合适的

# 1 数据集1：上下文-响应对：

   {
     "context": "你认为人工智能的未来会怎样？",
     "response": "我认为人工智能将会在各个领域带来革命性的变化，帮助我们解决复杂的问题。"
   }
   
# 2 数据集2：人类反馈示例：

   {
     "response": "人工智能可以让我们的生活更加便利。",
     "rating": 5  // 用户评分1-5，5为最佳
   }
   
# 3 数据集3：负样本示例：

   {
     "context": "什么是人工智能？",
     "response": "人工智能是一种音乐类型。"
   }

2.21.3 场景离线知识和实时知识

主要包含两个部分：

其一为离线知识库，涵盖商品信息等百科知识以及外部知识的综合；
其二为实时场景化知识。由于诸多商品信息具有实时性，如价格波动和优惠变化等，因此部分信息需支持在线调用。

过结构化的思维链（Format COT）来控制检索增强生成（RAG）的过程：
输出流程包括四个步骤：首先生成分析结果（Thought），其次得出结论（Conclusion），再进行校验（Rethink），最后实施风格控制输出。

在这里插入图片描述

2.21.4 Format-COT 的 RAG 生成控制

在商品信息（offer info）中，需要找出支持问题（question）部分的相关信息，进行分析，然后按照指定的输出格式（output format）来生成回答。
通常建议采用 XML 格式，因为 XML 具有较强的通用性，有利于模型的识别和处理
看一个例子：
在这里插入图片描述

2.21.5 商品搜索意图识别

需求解析后会产生多个查询，其中一些长尾查询难以召回商品，甚至可能出现空召回的情况。
因此，需要根据这一反馈信号对查询进行改写，并进行二次尝试。这个过程实质上是通过结果对输入进行修正的逐步优化收敛
在这里插入图片描述

2.21.6 AI 智能找挑辅助

AI内容总结
系统会根据您的人群属性（如都市女白领、程序员、全职妈妈等），给出针对性的回答，并为您总结最有价值的商品评价内容
在这里插入图片描述
smart shopping

2.22 海康威视在大模型视频分析方面的实践

海康威视在大模型视频分析方面的实践

整体来说，本文干货有点少

海康大模型采用了云边结合的模式进行部署，以满足各类应用需求。

边缘部署，如二级分行会部署一些小模型，在智能 NVR、智能分析服务器等边缘设备上，负责处理本地数据，并在局部范围内进行数据分析；到省级分行，则使用大模型，利用大模型具备的自学习能力，根据不同环境进行模型的调优与优化。
云端部署，采用了海康云眸，设备产生的图片会上传到云上进行训练、推理，以资源共享的方式，再下发到设备。这里的速度会不如边缘部署那么快。

在这里插入图片描述

2.23 京东：基于大模型搭建运力业务的“小红书”

基于大模型搭建运力业务的“小红书”

基于大模型搭建运力智能机器人“运力小智”，定位是一个集知识问答、数据分析功能于一体的便携式知识百科信息问答平台。

运力机器人功能建设应用在以下两个方向推进：

智能问答：通过用户和机器人的对话（包括单轮对话和上下文多轮对话），为用户解答运力日常工作中常见问题以及快速便捷进行数据信息查询，减少用户获取知识路径困难和响应不及时，释放用户问题依赖技术人工支持等问题。
智能主动预警：除了支持个人用户以及群聊用户主动搜索进行对话以外，还支持面向m端/pc端指定用户、特定群组，主动发送单聊消息、语音信息（例如定时或固定周期发送报告、识别到的异常信息等）进行提示预警，让问题主动、及时的触达主责用户。

在这里插入图片描述

几个技术点：

2.23.1 知识库

pdf 解析环节：

PDF的解析后的结构化结果，保留了页眉、页脚、章节信息等。正文内容被保存到了多个文本块中，每个文本块中记录了当前文本块的内容、类型(text/table)、段落id、句子id、章节id等

{    
    "metadata": {                  # 文档级元信息
        "footers": [],             # 页脚
        "headers": [],             # 页眉
        "catalogs": []             # 目录
    },
    "chapters": {                  # 章节信息
        "1": "[CHAPTER_ROOT]",
        "1.1": "第一条 xxx",
        "1.2": "第二条 xxxx",
        "1.3": "第三条 xxxx"
    },
    "context": [                   # 内容信息
        {                          # 文本块
            "text": "JDLxxxx规定",
            "type": "text",
            "pid": 1,
            "sid": 1,
            "metadata": {
                "section_range": []
            },
            "cid": "1"
        },
        ......
    ]
}

问题重新生成环节
根据问答历史对本轮问题进行重新生成，使重新生成的问题在知识相似度召回时具有更好的效果

from langchain import PromptTemplate
from langchain.chains import LLMChain
from langchain.chat_models import ChatOpenAI


def get_condense_question_chain(self):
    """精简问题链"""
    CONDENSE_QUESTION_PROMPT = PromptTemplate.from_template(
        """给定历史对话和一个后续问题，将后续问题改写为一个标准问题，用其原始语言，确保避免使用任何不清晰的代词。
历史对话:
{chat_history}
后续输入: {question}
标准问题:"""
    )
    condense_question_chain = LLMChain(
        llm=ChatOpenAI(
            model="",
            temperature="",
            openai_api_key="",
            openai_api_base="",
        ),
        prompt=CONDENSE_QUESTION_PROMPT,
    )
    return condense_question_chain

2.23.2 语义血缘关系

组成运力业务域的语义知识图谱，目前已积累70余万实体。语义词典用于对用户的自然语言问题进行切词分析

指标检索：推导某个指标的来源以及相关信息
血缘推理Agent原子能力：

2.23.3 AI增强生成SQL与分析思路

在这里插入图片描述

大模型增强分析与解读
在这里插入图片描述

提问格式：时间维度➕分析汇总维度➕指标名称➕想要的图表形式
【例如】：

1月西南干线装载率
12月西南每个车队的装载率，折线图
准点率最高的2个区域
从苏州昆山退货组到南京退货组公路到达准点率
北京长途组的公路到达准点率

2.23.4 其他agent系统附加功能

选择推送方式：定时推送or预警推送
在这里插入图片描述
功能六：信息主动推送，支持每周上线公告、调研问卷等信息主动推送

2.24 喜马拉雅基于大模型 ChatBl 实践探索

喜马拉雅基于大模型 ChatBl 实践探索

利用大模型开发了一个 ChatBI 产品。产品形态有三种：网页端、钉钉机器人，以及对外提供的 API。
在这里插入图片描述
智能问数发布流程

首先将表、字段知识、SQL 方言、词汇知识、规则、业务知识和样例等数据加工，建模、治理保存到数据仓库中，建立领域知识库，完成知识准备；
将非结构化知识向量化处理，结构化知识关系化处理，存成图关系数据；
构建评测问题，测试评估知识库，根据评测结果优化知识库；
数据集问数发布后根据用户使用反馈优化数据源和数据知识，通过提示词 prompt 工程、RAG、Agent 工程优化、模型微调等不断升级迭代模型。

2.25 LLM助力88VIP会员探索N种潮流生活方式

LLM助力88VIP会员探索N种潮流生活方式

在这里插入图片描述

三个步骤实现兴趣场景推荐：
场景生成：根据88VIP的人群消费画像，结合大模型推理用户购买商品背后的潜在动机，通常对应该用户的消费兴趣和潮流生活场景。
场景扩散：对于新品、以及用户行为覆盖较为稀疏的商品，采用多模态相似商品召回+场景判别的方式，提高场景商品的覆盖率，为后续的推荐环节提供充足的物料。
场景评估：潮流趋势会随着时令、季节的更替快速演变，为了准确捕捉最新潮流趋势，我们提出了一种用户协同偏好+场景成交热度相结合的生活场景重要性评估方法。

场景生成：
[图片]

3 具身智能

3.1 具身智能简史、现状与未来展望

https://mp.weixin.qq.com/s/a5zVocPcqWtFry91hBcgpA

在这里插入图片描述
通过 DERL 框架，研究者能够在不同的环境复杂性中，测试和优化代理的形态设计，使其更适应环境给予的物理挑战。例如，在变化的地形中，代理需要能够适应不同的障碍和地面条件，这要求它们具有更复杂和适应性强的形态结构。

4 企业大模型应用现状

4.1 企业内部LLM使用场景归类

在公司内部，AI应用正在这4个大场景里加速落地
企业客户对于 AI 的 ROI 是相当认可的：

Thesis 1: 企业大规模部署 LLM 会成为云厂商的 AI 新叙事
Thesis 2: 帮助企业更好地部署 AI ：关于 AI use case 不及预期的问题上，模型能力对 AI use case 负面影响的下降，「如何用 AI」反而逐渐成为新的阻碍因素，而这里面「没有满足企业用需求 AI 的 vendor 或工具」被越来越多企业提及。

企业内部LLM使用场景归类：

企业搜索：最 LLM-native 的场景
构建企业专属的 Wikipedia
AI 客服：LLM 渗透最快的场景
Sales & Marketing，例如，SEO 这类任务中需要大量的内容产出，通过给 sales 提供 AI copilot 来实现更高的销售转化率
产品开发：和生产力最近的场景：产品开发可以分为两类，一类是涉及到代码相关的任务，一类则非代码类任务（内容生成）
垂直场景：电商（帮助实现库存管理、商品上架、物流追踪等后台任务自动化）、法律（LLM 可以用来协助律师查找法条及案例，起草、审核合同等基础、重复性工作，让律师专注制定核心方案策略）、金融服务（为财富顾问快速访问公司知识库的 Copilot，在处理客户咨询时发挥了重要作用）