自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(124)
  • 收藏
  • 关注

原创 深度解析MCP协议

MCP协议是Anthropic推出的标准化协议,用于规范大型语言模型与外部数据源及工具的交互方式。该协议采用客户端-服务器架构,包含主机、客户端和服务器三个核心组件,支持工具调用、数据访问和提示模板等功能。通过Python SDK可实现项目初始化、服务器部署等操作,使AI模型能够执行复杂任务如数据写入Elasticsearch索引等。MCP协议的推出将推动AI从封闭系统向开放智能代理发展,有望构建全新AI工具生态,为开发者提供创新机遇,同时为企业深度整合AI与业务流程提供标准化路径。

2025-05-30 13:16:58 625

原创 大模型哲学:语言的边界就是世界的边界

文章探讨了大语言模型(AI)如何重新定义人类认知和语言边界,借助维特根斯坦的哲学理论进行分析。维特根斯坦早期认为语言是现实的映射,而后期则强调语言的意义在于其使用。AI的发展突破了传统符号主义的限制,通过统计学习和神经网络,AI不仅能够识别语言结构,还能生成新的语义关联,模拟“语言游戏”。然而,AI缺乏人类的具身经验,限制了其在处理感官和情感语言时的表现。随着多模态技术的发展,AI正在融合视觉、听觉等感知通道,进一步挑战“智能”与“主体性”的传统定义。文章最终提出,AI的语言革命不仅是对人类语言规则的复刻,

2025-05-14 17:44:16 1193

原创 DeepSearcher:开启智能搜索新纪元,赋能企业级数据研究

DeepSearcher是一款创新的智能搜索工具,专为满足企业级数据研究需求而设计。它结合了大型语言模型、超级搜索功能和本地化部署的优势,提供了一个高效、灵活且经济的研究解决方案。DeepSearcher通过将复杂查询拆解为多个子问题,利用智能查询路由和动态检索技术,从多个数据源中提取和整合信息,确保搜索结果的全面性和准确性。此外,其支持私有化部署,保障了数据的安全性和隐私性。DeepSearcher的AgenticRAG架构使其在处理复杂推理任务和报告生成方面表现出色,广泛应用于学术研究、市场分析等领域,

2025-05-14 17:41:41 913

原创 24G显存也能跑DeepSeek-R1 671B?Ktransformers!

随着大语言模型技术的快速发展,模型参数规模不断扩大,显存需求也随之激增。如何在保证推理性能的同时降低显存占用,成为科研人员关注的重点。2025年1月,DeepSeek团队发布了DeepSeek-r1模型,尽管其性能逼近OpenAI的GPT-o1,但其671B的参数量使得推理所需显存高达数百GB,通常需要配备至少8张80GB显存的H800服务器。对于个人开发者和爱好者而言,这种硬件配置成本高昂。然而,清华大学KVCache.AI项目团队联合ApproachingAI开发的Ktransformers框架,通过内

2025-05-14 17:37:40 822

原创 数智驱动——AI:企业数字化转型的“超级引擎”

随着生成式AI技术的快速发展,企业数字化转型进入新阶段。AI大模型如DeepSeek、GPT-4o等,正从通用型向行业垂直领域延伸,推动企业基础设施的智能化变革。多模态模型、强化学习等技术进一步拓展了AI的应用场景,助力企业在复杂业务中实现高效决策和资源优化。AI不仅提升了企业效率,还重构了商业模式,优化了客户体验。通过本地化部署,企业确保了数据隐私和安全,同时提升了数据处理速度和精度。AI与云计算、5G等技术的深度融合,为企业提供了强大的计算能力和灵活的资源配置,推动了全行业的智能化和数字化转型。未来,企

2025-05-14 17:35:23 859

原创 “十倍工程师”还有多远?

准备好了吗?我要打10个?©作者|Zhongmei来源|神州问学十倍工程师(10x Engineer)指代那些被认为效率远超普通工程师的程序员。这个话题总是引发强烈的情绪反应,因为它触及了一些深层次的观念:是否真的存在天赋高低的差异?这种差异是与生俱来的还是可以改变的?如果确实存在,我们应该如何对待这些不同的人?因此,是科技领域备受争议的概念:支持者认为,认为10倍工程师的存在是不言自明的事实,,其技术能力在解决复杂问题时表现尤为突出。例如,LeetCode竞赛中顶尖选手的效率可比普通开发者高出数十倍。否认

2025-05-14 17:17:15 534

原创 “小显存”也能启动大模型

DeepSeek技术通过创新的混合专家架构(MoE)解决了传统大模型在计算资源和效率上的瓶颈。MoE架构通过动态选择最合适的专家网络来处理不同任务,显著提高了计算效率和资源利用率。这种架构包括专家网络和门控网络,前者负责处理特定类型的数据,后者则根据输入数据特点选择最合适的专家。DeepSeek-V3模型拥有6710亿参数,但在推理时仅激活370亿参数,这大大减少了计算成本和显存占用。尽管MoE在训练稳定性和显存压力方面面临挑战,但其在计算效率、模型扩展性和灵活性上的优势使其成为大模型发展的有力候选。随着技

2025-05-14 16:36:27 595

原创 开源长期主义:浅谈DeepSeek技术主张与早期论文

DeepSeek公司通过开源和长期主义的技术愿景,致力于推动大语言模型和多模态模型的发展。其技术路径包括探索扩展法则(Scaling Law)、混合专家架构(MoE)、代码生成与定理证明、以及视觉-语言理解等领域。DeepSeek在早期发布的论文中,提出了非传统扩展法则,开发了DeepSeekLLM和DeepSeekMoE模型,显著提升了模型性能和效率。此外,DeepSeek-Coder和DeepSeek-Prover模型在代码生成和定理证明任务中表现出色,缩小了开源与闭源模型的性能差距。DeepSeek-

2025-05-14 15:46:04 985

原创 o3时代:数据治理与大小模型的趋势

文章探讨了O3时代人工智能的发展趋势,特别是数据治理与大小模型的结合如何破解AI发展瓶颈。OpenAI的O3模型在多项基准测试中表现出色,展示了其在复杂推理、自我优化和创新解决方案生成方面的能力。文章指出,未来的AI发展将依赖于自上而下的数据治理策略与大、小模型的结合,以实现更高效的数据管理和任务处理。小模型因其轻量化、可控性强和低延迟的优势,在资源受限的环境中展现出强大的适应性和应用潜力。文章还强调了全局数据治理战略的重要性,以及大小模型结合在推动AI向更加智能、可控、可持续目标迈进中的作用。最后,文章提

2025-05-14 15:21:18 761

原创 Clio: Anthropic推出的首个用于了解AI使用情况的隐私优先工具

Anthropic公司推出了名为Clio的隐私优先AI使用分析工具,旨在保护用户隐私的同时,深入了解其AI系统Claude的实际使用情况。Clio通过自动化分析用户与Claude的对话,提取并聚类对话主题,从而揭示使用模式和趋势,而无需暴露敏感信息。该工具采用多层隐私保护措施,确保数据匿名化和汇总处理,仅向分析人员展示聚类信息。Clio的引入不仅帮助Anthropic改进安全措施,还展示了如何在保护隐私的前提下进行AI系统的道德治理。通过Clio,Anthropic能够识别和阻止协同式滥用行为,监测高风险事

2025-05-14 15:12:06 587

原创 AI 芯片浪潮:SoC与ASIC各显神通齐头并进

另一方面,SoC 的 CPU、GPU、NPU 异构计算优势是其灵活性的支撑,例如Intel oneAPI的异构计算开发辅助工具应运而生,它可将CUDA开发环境对Intel Arc集成显卡进行适配,也可对GPU上的开发环境在NPU上进行适配,辅助应用开发者灵活利用异构计算的优势,将应用对CPU、GPU、NPU中的多个计算单元进行适配。等机器学习框架良好适配,对深度学习计算进行高性能、低功耗的优化,软件与硬件相得益彰,并且可根据业务需要对TPU的设计进行调整,以便满足谷歌内部各种特定的 AI 训练和推理需求。

2025-05-14 11:02:27 641

原创 使用大语言模型从零构建知识图谱(中)

本文详细介绍了如何利用大语言模型(LLM)从零开始构建知识图谱,涵盖了节点定义、关系识别和Cypher查询生成的完整流程。通过自定义流程,作者展示了如何自动生成节点、关系以及Cypher查询,并基于数据集进行操作。文章还探讨了使用Ollama和DeepSeek-V3等工具进行模型初始化的方法,并提供了代码示例和验证步骤,确保生成的节点、关系和查询符合预期。此外,作者强调了跳出固有思维模式的重要性,以设计出更灵活的Graph-Builder。最后,文章提到未来将介绍使用LangChain实现的现代化Graph

2025-05-14 10:59:03 855

原创 使用大语言模型从零构建知识图谱(上)

这是因为在过去,如果我们想将模型定制化以适应不同的场景(无论是处于娱乐场景还是商业场景),通常有以下三种选择:预训练模型以提供更好的行业适应性,或者针对特定数据集对模型进行微调,又或者是基于给定的上下文让模型进行总结性回复。接下来,让我们看看实际的图谱。另一个免费的方案是使用 Google的大模型服务平台,要获取 api key,请访问这里(假设你已经拥有一个 Google 的账号并且已经登录到管理控制台),然后按照开发平台的引导创建 api key 并将生成的 key 复制并保存起来,后面会用到。

2025-05-14 10:57:25 955

原创 智能背后的阴影:LLM安全风险

而黑盒攻击,与之相反,攻击者只能通过输入信息,获取输出来和模型进行交互,并不了解模型的底层机制,因此对于一些闭源的LLM如GPT系列也存在一定的威胁。从越狱提示长度方面来看,如图所示,越狱提示的平均token数量为555,是常规提示的平均token数量的1.5倍,并且随着时间推移呈现不断增加的趋势,大致上也随着ChatGPT的不断更新而增加;这些方法具有较高的隐蔽性和破坏性,例如给予提示的后门攻击可以注入有毒的提示来影响LLM的预测,而基于PEFT过程中的后门注入可以控制微调后的模型产生一些有害的行为。

2025-02-12 17:07:24 1561

原创 吴恩达:《State of AI report》展现2024的主要趋势和突破(三)

万字长文,2024AI行业的科研角力©作者|Zhongmei来源|神州问学前言吴恩达的网站在十月中旬发表了一篇名为《A Year of Contending Forces》的文章,该文章是围绕着一个名为《State of AI Report - 2024》的年度报告的总结和点评。该报告由Nathan Benaich和Air Street Capital团队制作,这是该报告的第七年,新报告记录了过去一年推动AI发展的强相互作用力:开源与专有技术、公共与私人融资、创新与谨慎,汇聚了来自于2024年的研究论文、新

2025-02-12 17:06:39 918

原创 新型LLM优化技术削减内存成本高达75%

Universal Transformer Memroy通过使用神经注意力内存模型(NAMMs),即简单的神经网络,来优化提示,决定是“记住”还是“忘记”LLM内存中存储的每个token。研究人员表示:“即使在这些分布外的设置中,NAMMs通过丢弃诸如冗余视频帧和次优动作等token,保留了其优势,使其新的基础模型能够专注于最相关的信息以提高性能。研究人员表明:“这一新能力使得Transformer能够舍弃无用或冗余的细节,专注于最关键的信息,这对于需要长上下文推理的任务来说是至关重要的。

2025-02-12 17:03:27 658

原创 知识炼金术:让KG与LLM催化智能未来

对于给定的应用问题,我们可以应用知识图谱来进行基于知识的搜索,寻找潜在的目标和未见数据,同时使用LLMs来进行基于数据/文本的推理,看看可以得出哪些新的数据/目标项。做图谱其实就是做数据,其实就是对错综复杂的文档的数据进行有效的加工、处理、整合(数据定义、数据挖掘、数据清洗、数据评估的过程),使其转化为简单、清晰的“实体,关系,实体”的三元组。KG-to-text的生成将知识图谱和文本连接起来,大大改善了KG在更现实的NLG场景中的适用性,包括讲故事和基于知识的对话。将相关的知识子图引入到LLM的输入中。

2025-02-12 17:02:24 1195

原创 稀疏计算的软硬件协同:FPGA有力推动硬件发展

但是稀疏计算方面,GPU的架构通常不能在模型的稀疏性和准确度上保持平衡,相比之下,FPGA (可编程逻辑阵列) 平台因其灵活性能够更好地支持非结构化稀疏、块稀疏等稀疏化模式,并通过改进内存带宽利用和编译效率来克服当前硬件的局限性。FlightLLM 的矩阵计算引擎 MPE 通过硬件/软件协同设计,引入了可配置稀疏 DSP 链(CSD-Chain),利用定制化的 FPGA DSP48 核心,不仅减少了硬件开销,还灵活支持包括 N:M 稀疏模式在内的各种稀疏计算运算,从而克服了低计算效率的挑战。

2025-02-12 16:59:15 1090

原创 “白菜价”的GraphRAG来了,成本降低1000倍!

LazyGraphRAG的最大亮点在于其数据索引阶段的创新。相比传统的广度优先搜索,LazyGraphRAG能够更加高效地找到最佳匹配的文本块,同时考虑整个数据集的广度,极大地提高了查询的效率。尽管GraphRAG在许多场景中表现出色,但在处理全局数据查询时,其成本问题一直受到诟病,尤其是在大规模AI模型中,查询的延迟和准确性也成为了瓶颈。在高预算下,LazyGraphRAG的胜率持续上升,尤其在全局查询上,其表现超越了其他所有方法,显示了LazyGraphRAG在成本和质量方面的强大可扩展性。

2025-02-12 16:44:43 648

原创 如何复刻o1模型的深度思考

当然o1模型本身在处理复杂问题是有更好的能力不单纯是CoT的功劳,o1模型在预训练之初就是在大量的文本数据集上进行的,o1模型具有广泛的世界知识,但是对于实际应用来说他的成本则是比较高昂的,而o1-mini则是在预训练期间针对STEM推理进行了优化,在使用与o1相同的高计算强化学习(RL)进行训练之后o1-mini在许多推理任务上实现了相当的性能,成本效率也有了很大的提升,但是o1-mini在非STEM的事实知识任务上表现较差。而因为草莓模型的推理能力的提升能够准确的回答,所以被称为草莓模型。

2025-02-12 16:43:44 554

原创 ChatGPT macOS 桌面应用让你的编程体验更上一层楼

在这之后不久,微软发布了名为 Omniparser 的项目,这是一款可以解析屏幕的 AI 代理工具 —— 该项目的推出可能预示着未来微软会利用 AI 能力来控制用户桌面的能力,其中最有可能的就是通过集成在 Windows 操作系统中的 Copilot 来实现。提示词:这是一个文档型的 macOS 桌面应用模板,我想利用这个模板开发一个标准功能的文本编辑器,在应用界面的顶部需要有一个功能菜单条,在菜单条中包含典型的功能,比如:文字加粗、斜体、下划线、左对齐、居中对齐、右对齐、有序列表、无序列表等等。

2025-02-12 16:42:55 1411

原创 AgileGen智能体:生成式软件开发新纪元

基于用户的单行需求描述(“开发一个可定制虚拟运动场的应用程序”),AgileGen利用记忆池机制推荐了类似需求的场景作为参考,在场景设计模块中生成运动场的布局配置和自定义选项,例如场地大小调整、颜色切换。AgileGen通过场景设计模块生成了卡片布局和点击交互功能的核心代码,快速原型设计模块提供了初始UI设计,并通过一致性因子确保功能逻辑与需求描述一致,并根据用户反馈优化了卡片排列方式和音频加载速度。通过这种方式,AgileGen不仅实现了需求的动态优化,还构建了一个可持续进化的用户协作生态。

2024-12-05 14:45:17 983

原创 中美之外,谁还能在AI竞争中占领制高点?迪拜与新加坡的契机

作为全球重要的金融中心,新加坡通过与全球科技巨头的合作,不仅推动了本土技术的创新,还借助其与东南亚以及全球其他国家的紧密联系,成为AI技术与资本流动的桥梁。两国在许多领域表现出“互补”的特点。中美两国无疑是目前全球AI技术发展的领导者,但随着AI技术的进步与应用场景的不断拓展,越来越多的国家和地区展现出了在AI领域竞争的潜力。迪拜和新加坡正是这种趋势中的代表性国家,它们并非仅仅是在和中美竞争,而是通过独特的政策和资源配置,寻求与全球AI发展格局中的“强国”进行合作,力图在全球AI产业链中占领制高点。

2024-12-05 14:44:12 881

原创 Blackwell与FP4精度:AI量化浪潮中推动端侧发展的“双子星”

例如,学术界在发表新型量化算法,验证计算效率提升时,由于缺少能与之适配的硬件,通常会使用硬件语言和 FPGA 自行编写量化算子,与不采用量化的模型进行性能比较,以验证量化算法是有效的,但实验室环境不代表实际环境,因此无法在实际的生产环境中进行部署和应用。模型量化使得大模型的训练和推理变得更加高效。而且,单个硬件设备对量化算法的支持十分有限,不同的硬件设备对于量化算法的支持程度也存在差异,这就使得学术界开发的量化算法在实际应用中需要针对不同的硬件设备进行大量的适配和优化工作,增加了推广的难度。

2024-12-04 16:28:34 2409

原创 OpenAI:AGI共5层,我们现在在第2层

AGI的五层架构为AI的发展设定了清晰的蓝图,从“聊天机器人”到“组织”,每一层级都代表了技术的突破与智能水平的跃升。在迈向AGI的过程中,科学家和公众需共同关注其发展,积极应对AI带来的伦理、安全和治理问题,探索在社会效益最大化的前提下,迎接智能新时代的机遇与挑战。创新者型AI的出现将极大加速人类的创新速度,充当“新发现者”的角色,提出新的科学假设,并帮助设计和验证实验。他们对世界有广泛而普遍的理解,可以自己进行一定程度的思考和推理,允许在无人监督的情况下进行现实世界的行动。

2024-12-04 16:27:09 4383

原创 吴恩达:《State of AI report》展现2024的主要趋势和突破(二)

万字长文,2024AI行业的科研角力©作者|Zhongmei来源|神州问学前言吴恩达的网站在十月中旬发表了一篇名为《A Year of Contending Forces》的文章,该文章是围绕着一个名为《State of AI Report - 2024》的年度报告的总结和点评。该报告由Nathan Benaich和Air Street Capital团队制作,这是该报告的第七年,新报告记录了过去一年推动AI发展的强相互作用力:开源与专有技术、公共与私人融资、创新与谨慎,汇聚了来自于2024年的研究论文、新

2024-12-04 16:26:21 2045

原创 OpenAI 推出了 Canvas 和 SearchGPT

通过 ChatGPT Search 的浏览器插件可以完全接管 Google Chrome 浏览器的搜索地址栏,在过去,您在 Chrome 的搜索地址栏中输入搜索关键词会打开默认的搜索引擎来显示搜索结果,但通过 ChatGPT Search 插件,在搜索地址栏中输入的搜索关键词会直接在 ChatGPT 的 web 应用中以搜索的形式显示关键词相关的主题和回答。那么作为一款带有搜索能力的 GPT,在界面设计语言方面,OpenAI 也做出了相应的调整,在新建对话中,提示词文本框上移到屏幕的中央。

2024-12-04 16:25:09 1464

原创 吴恩达:《State of AI report》展现2024的主要趋势和突破(一)

万字长文,2024AI行业的科研角力©作者|Zhongmei来源|神州问学前言吴恩达的网站上周发表了一篇名为《A Year of Contending Forces》的文章,该文章是围绕着一个名为《State of AI Report - 2024》的年度报告的总结和点评。该报告由Nathan Benaich和Air Street Capital团队制作,这是该报告的第七年,新报告记录了过去一年推动AI发展的强相互作用力:开源与专有技术、公共与私人融资、创新与谨慎,汇聚了来自于2024年的研究论文、新闻文章

2024-12-04 16:22:02 1770

原创 英伟达 GPU 架构:演进与模型推理速度的深度关联

H200 的显存从 H100 的 80GB 提升到了 141GB,更大的显存容量可以容纳更大规模的模型和数据,减少数据在内存和硬盘之间的交换次数,从而提高推理速度。当然也并不是所有的场景都适合NVLink的,PCIe的GPU的优势主要体现在其出色的灵活性和实用性,对于工作负载小、追求GPU数量平活配置的场景,PCIe版的GPU无疑是个更好的选择,而对于GPU间互联带宽有着极高需求的大规模AI模型的训练任务,SXM版的GPU凭借其无可匹敌的NVLink宽带和极致的性能则成为首要选择。然而,竞争也将促进合作。

2024-11-01 15:30:29 2045

原创 模型剪枝,如何把模型的使用成本降下来?

传统的剪枝方法通常采用全局统一的稀疏率,忽略了不同层的重要性差异,可能导致关键层被过度剪枝,影响模型的整体性能。通过减少模型的参数量,剪枝不仅能显著降低计算资源的需求,还能提高模型的运行效率,使模型更适合部署在资源受限的环境中,如移动设备和嵌入式系统。的研究进展,展示了通过自动化和精细化的剪枝策略,可以在保持模型性能的同时,大幅降低模型的计算和存储成本。未来,随着剪枝技术的不断发展和成熟,我们有望看到更加高效、低成本的模型应用,为人工智能的普及和发展注入新的活力。据估计,GPT-3的训练成本在。

2024-11-01 15:29:29 873

原创 AI Agent智能数字员工解决案例

大模型不仅可以通过丰富的语义理解能力,提升对业务场景的适应性,还能生成高质量的自动化流程,减少企业对人工操作的依赖。接下来,系统会将客户的请求自动录入到相应的业务系统中,例如,运营商将宽带迁移请求录入工单系统,金融机构则将贷款申请及身份证信息录入信贷系统,而电商则处理换货申请。早期的数字员工主要依赖于预设的规则和流程,但随着大模型技术的不断进步,智能体现在能够自主识别任务、动态调整执行策略,并在实际应用中展示出更高的灵活性和智能化水平。其次,由于团队规模庞大,需要数百名员工,这使得人力成本大幅增加。

2024-10-25 17:20:47 1608

原创 MemoRAG:重新定义长期记忆的AI问答模型

尽管项目仍处于初期阶段,MemoRAG 已通过项目代码实现了快速部署,并支持中文语料处理,未来将持续优化模型的轻量化、记忆机制的多样性以及应用广泛性,推动 AI 问答技术的进一步发展。”时,可能只能给出一个模糊的概述,但通过快速查阅相关章节,可以找到具体的细节,从而归纳出一个完整的答案。右侧图展示了MemoRAG通过构建覆盖整个数据库的全局记忆,在接收到查询后,首先回忆出相关线索,从而检索到更有用的信息,提供更加准确和全面的答案。通过增加 beacon_ratio 参数,模型可以处理更长的上下文。

2024-10-25 17:20:06 1431

原创 探秘AIPC软件:云端和本地如何奏响混合乐章

在撰写文档方面,无论是撰写文章、报告还是邮件,用户只需输入主题和关键要点,豆包就能先为用户提供大纲,供用户参考及修改,再根据改好的大纲生成文档,帮助用户更高效地完成任务。华为的昇腾系列 AI 芯片,如昇腾 910B 等,具备强大的算力和能效比,配合其 CANN 等计算加速框架,为端侧大模型的应用和部署提供了完整的解决方案。在模型推理时,用户还可以根据实际需求对模型的配置进行调整,例如调整模型的参数、选择不同的模型版本等,以获得更符合自己需求的结果。Ollama 是一个通用的模型调用框架,具有很强的适应性。

2024-10-09 15:23:11 1323

原创 RAG测评关键指标

因此,检索器必须确保找到的资料高度相关,避免噪声和无关信息的干扰,否则会直接影响到生成环节的表现。你有一个很聪明的助手(相当于大型语言模型,LLM),但他也不是万能的,需要查阅外部信息来给出最好的答案。像 GPT-4 或 GPT-1o 这样的高级模型,通常能提供较高的生成质量,确保答案的准确性和连贯性。”),结合刚刚找到的资料,生成一个完整、准确的回答告诉你。4. 引文精度(citation precision):与特定主题相关的文献数量与检索到的内容的比例,接近于上下文有效率的概念。

2024-10-09 15:22:02 1334

原创 李沐:如果有什么事这一辈子总要试下的,就趁早

“We're building something big ... stay tuned. Talk to me if you want to work on scalable foundation models.”“我们正在建造一个大项目……请继续关注。如果你想在可扩展基础模型上工作,请告诉我。”©作者|Zhongmei来源|神州问学去年二月,“参数服务器之父“Alex Smol教授和当时的亚马逊首席科学家李沐从亚马逊云科技(AWS)离职,创办了一家名为Boson.ai的人工智能公司。当时公司官网都在建设

2024-09-29 16:14:23 1194

原创 黑神话热潮,能引发GPU狂欢的才是杀手级应用

黑神话:悟空》作为一个国产 IP 和国产游戏,会带动大量的中国玩家尝试,一些轻度游戏用户以及之前不是很活跃的游戏存量用户也加入进来,从而对中国游戏终端市场的换机起到一定的拉动作用。而随着时间的推移,其热度依旧不减,据 VG Insights 的最新数据显示,《黑神话:悟空》在 Steam 平台的销量已达 1890 万份,总收入超过 9.05 亿美元(约合人民币 64.48 亿),甚至有突破 1900 万份,收入达 64.9 亿元的趋势。另一方面,产业也期待着更多新软件的爆发,以带动硬件市场的持续繁荣。

2024-09-29 16:13:46 651

原创 数据先行 -- Scale AI如何通过AI数据服务成为独角兽

Scale AI 主要服务于政府和企业客户,特别是那些需要复杂云服务的公司,而 Hive 则聚焦于市场、约会应用程序以及其他B2C和点对点导向的公司,推广其预构建的AI模型。众多知名企业,如 Lyft、Toyota、Airbnb 和通用汽车,依赖 Scale AI 的数据引擎来获取精确的标注数据,以推动他们的 AI 项目的成功。Scale AI的主要目标是通过自动化工具和人力审核相结合的方式,为企业提供精准的数据标注服务,从而提高人工智能模型的准确性和性能。数据标注结合人工智能技术和人机交互进行高效处理。

2024-09-27 17:23:53 2660 1

原创 解析 Llama-Factory:从微调到推理的架构

此外,Llama-Factory 配备了用户友好的 LlamaBoard Web 界面,降低了使用门槛,使得即便是没有深厚编程背景的用户,也能轻松进行模型微调和推理操作。这不仅减少了模型的内存占用,还提升了微调和推理的速度。这些技术在不显著影响模型性能的前提下,提升了推理速度,使得 Llama-Factory 能够在资源有限的环境中,仍然保持高效的推理能力。随着技术的不断发展和应用场景的扩展,Llama-Factory 有望在未来的 AI 生态中占据重要的位置,推动整个行业的创新与进步。

2024-09-27 17:22:10 1431

原创 RAG领域出现技术创新,或将引领AI搜索重大变革?

通过引入用户中心化的多智能体系统,PersonaRAG有效地增强了检索增强生成模型的个性化和精确性,并提供了一种有效的解决方案。通过个性化和动态调整,让搜索结果不再仅仅是关键词匹配的列表,而是为用户量身定制的信息体验,提升了智能搜索的精准度和用户满意度。具体来说,RAG流程是根据用户的查询,从海量的文档或者数据中检索出相关的信息片段。然后用大模型生成有用的回答。PersonaRAG更像一个经验丰富的出色导游,能够在与游客的交谈当中调整旅游路线,并且记住游客的兴趣和喜好,为后续旅程提供定制方案。

2024-09-27 17:21:14 919

原创 使用 LlamaIndex 进行 CRAG 开发用来强化检索增强生成

我从论文《Corrective Retrieval Augmented》中截取了如下的示意图,在该示意图中描绘了如何构建一个检索评估器来评估检索到的文档与输入的问题的相关性。该评估器是“检索增强生成”(Retrieval-Augmented Generation,RAG)的关键组成部分,通过审查和评估检索到的文档的相关性和可靠性,帮助生成有价值的信息。检索评估器涉及到一种算法,该算法确保检索到的信息的细化,优化关键信息的提取并最大限度地减少非必要信息被检索到,从而提高检索到的数据的利用率。

2024-09-27 17:19:25 1209

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除