- 博客(371)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 InstructGPT模型论文解读
使LLM更大并不一定能够让它在遵循用户意图方面表现得更好。例如，大型语言模型可以生成不真实、有毒或对用户根本没有帮助的输出。OpenIA收集了一组由标注员编写的提示和通过 OpenAI API 提交的提示作为数据集，使用监督学习用这个数据集对 GPT-3 进行微调。然后，又收集了一个对模型输出进行排名的数据集，使用人类反馈的强化学习（RLHF）用这个数据集进一步微调模型。OpenAI将得到的模型称为 InstructGPT。
2025-04-12 13:41:29
472
32
原创 olmOCR模型论文解读
论文推出了olmOCR，一个开源的 Python 工具包，用于将 PDF 处理成干净、线性化的纯文本，按照自然阅读顺序排列，同时保留结构化内容，如章节、表格、列表、方程式等。工具包加载一个经过微调的 7B 视觉语言模型（VLM），该模型在来自超过 10 万个爬取的 PDF 的 26 万个页面的样本上进行训练，这些 PDF 具有不同的属性，包括图形、手写文本和质量较差的扫描。
2025-03-24 00:00:00
1503
37
原创 Qwen 2.5 技术报告解读
论文介绍了Qwen2.5系列 LLM，该系列在预训练和后训练阶段均有显著改进。预训练数据集扩展至18万亿个token，为常识、专业知识和推理能力奠定坚实基础。后训练采用监督微调和多阶段强化学习，增强人类偏好和长文本生成、结构数据分析和指令跟踪能力。
2025-02-26 07:15:00
1769
43
原创 YaRN论文解读
旋转位置嵌入（RoPE）无法在超出其训练的序列长度上进行泛化。论文提出了 YaRN（Yet another RoPE extensioN method，另一种 RoPE 扩展方法），一种计算高效的方法来扩展此类模型的上下文窗口，所需的标记数量比以前的方法少 10 倍，训练步骤少 2.5 倍。
2025-02-25 00:15:00
2273
17
原创 DCA，不需训练让Llama上下文扩大48倍的方法
大型模型在输入token数量超过其预训练长度时，生成能力会断崖式下降，但如果直接训练长序列的大模型成本非常高。因此作者提出了双块注意力（DCA），使 LLAMA2 70B 能够支持超过 10 万个token的上下文输入，而且不需要持续训练。DCA可以与 Flash Attention 无缝集成。除此之外，DCA 在实际的长上下文任务上的性能与微调模型相当甚至更好。与专有模型相比，DCA的免训练 70B 模型达到了 gpt-3.5-16k 性能的 94%。
2025-02-18 11:00:00
1705
17
原创 FlashAttention-2 论文解读
论文标题：FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning论文地址：https://arxiv.org/abs/2307.08691书接上回，FlashAttention v2 是 FlashAttention v1 的升级版，它通过优化并行性和工作分区，进一步提高了注意力计算的速度。
2025-02-08 17:00:00
1133
30
原创 FlashAttention v1 论文解读
针对Transformer在处理长序列时速度慢、内存消耗大的问题，论文提出了FlashAttention，一种IO感知的精确注意力算法。该算法通过使用平铺(tiling)技术减少GPU内存(HBM)与SRAM之间的内存读写次数，从而降低计算复杂性。分析显示，FlashAttention减少了HBM访问次数，并优化了SRAM使用。此外，本研究将FlashAttention扩展至块稀疏注意力，实现了比现有近似注意力方法更快的近似注意力算法，为长序列处理提供了高效解决方案。
2025-02-02 22:04:53
2493
20
原创 为什么Agent会失败？2025年对AI的预测
如果说2024年是生成型人工智能的年份，那么2025年就应该是设定合理期望的一年。根据科技行业分析师的预测，2024年本应是生成式AI（Generative AI，简称GenAI）的里程碑之年。随着各种复杂应用场景的不断涌现，新技术的出现降低了准入门槛，使得通用人工智能似乎触手可及。但事实果真如此吗？在某种程度上，确实如此。如果说2024年是生成式AI的元年，那么2025年就应该是设定合理期望的一年。展望未来，GenAI仍将是全球开发者和企业关注的焦点，但我们对它的讨论正在变得越来越接地气。
2025-01-11 12:00:00
3290
49
原创 GQA: 分组注意力机制论文解读
前人提出的多查询注意力(Multi-query attention, MQA)虽然可以加快推理速度，但是生成质量会明显下降。因此论文提出了分组查询注意力(grouped-query attention, GQA)，该方法只需使用模型预训练时5%的计算资源，就能将现有的多头注意力(MHA)模型checkpoint转换为GQA模型。实验表明，GQA在保持与MHA相当的生成质量的同时，能够达到与MQA相近的推理速度。
2025-01-11 12:00:00
3005
9
原创 2025年不容错过的10个Vue.js库盘点
打造高效Vue应用的必备工具清单!🚀Vue.js 凭借其灵活性和丰富的生态，已经成为现代网页应用开发的热门选择。到了 2024 年，Vue 的工具库可谓是琳琅满目，它们能大大提升开发效率和应用程序的表现。那么，明年你该关注哪些 Vue.js 库呢？这里为你精选了 top 10 Vue.js 库，不妨在你的项目中试一试。
2025-01-11 12:00:00
2261
6
原创 Cursor无限续杯——解决Too many free trials.
我们都知道Cursor对新用户是有14天且500条免费限制的。一般情况下，当14天过期，是可以注销账户再重新注册，这样就可以继续拥有14天的体验时长。但是！！如果使用超过500次，Cusor就会把你的电脑ID锁定（注意不是mac地址），因此无论切换其他账号还是卸载重装，都没有用。
2025-01-09 00:07:53
9871
16
原创 大模型Agent之CrewAI框架开发指南
国外有关各种AI相关的开源项目，不论是企业级还是个人级别，每天都在爆发性增长。今天介绍的CrewAI是和LangChain一样的AI辅助调用库。希望国内开发者再接再厉~，这款的热门框架，让智能体之间的协作变得聪明起来，彻底改变了开发者处理复杂 AI 任务的思路。它可不是孤军奋战的单一智能体，而是一群能像团队一样合作的 AI 智能体。每个智能体都有自己擅长的领域，带着专门的工具，为了共同的目标而努力。
2025-01-03 09:35:48
2468
25
原创 使用jest-axe为你的前端项目自动化测试
把jest-axe加入你的测试工具箱，构建无障碍网页就更有底了。但别忘了，工具再好，也不能保证百分百无障碍。想要完美，还得手工检查和用户测试双管齐下。祝测试愉快！axe-core。
2025-01-01 13:37:49
1794
9
原创 使用OpenAI、LangChain、MongoDB构建一个AI agent✨
LangChain真是好起来了。24年中的时候用LangChain V2差点把我气死，现在V3用起来开始真香了~像 ChatGPT、Gemini 和 Claude 这样的大模型已成为企业必不可少的工具。如今，几乎每家公司都希望根据自己的需求或客户群体，开发一款定制化的AI Agent。这篇文章将重点介绍如何创建一个个性化的助手，这个助手不仅能进行功能调用，还能将对话记录存储在数据库中，实现多会话的连续互动，同时能够执行网页搜索并总结相关信息。
2024-12-30 21:56:58
2651
11
原创 JavaScript高阶函数
个人感觉不同语言走到最后都趋向于一致。拿filter、map这些函数来说，JS、JDK、Spark都有，谁能想象完全是三个行业（前端、后端、大数据）的语言，但是用法却完全一致。在JavaScript的世界里，高阶函数就像是隐藏的宝藏，它们在数据整理、界面设计，甚至是算法编写的过程中都能成为你的得力助手。那么，高阶函数究竟有何奥秘呢？🤔所谓高阶函数，其实不过是这样的函数：它们能够接收其他函数作为参数，也能够输出一个新的函数。概念上并不复杂吧？除了理论之外，让我们通过一些生动的实例来感受高阶函数的强大吧！
2024-12-20 15:48:52
3862
34
原创 5个小型多模态AI模型及其功能
多模态模型以及大型语言模型的可访问性和成本效益仍然是主要问题。但随着越来越多的相对轻量级但功能强大的多模态AI选项可用，这意味着更多机构和小型企业将能够在其工作流程中采用AI。
2024-12-18 13:46:38
2716
12
原创 本机环境搭建Meta Llama聊天机器人教程
恭喜！现在Llama LLM已经顺利地在你的本地机器上运行起来了。如果你想更深入地了解Ollama，可以查看官方文档，链接在这里。如果你对使用图形用户界面来更轻松地操作Ollama感兴趣，不妨看看。我们期待不久的将来能看到一篇详细介绍如何设置它的博客。在此之前，好好享受你个人的Llama助手带来的便利吧！
2024-12-17 12:55:31
3249
10
原创 为什么AI不能取代开发者：AI在代码中的真正限制
AI确实是个很棒的助手，但它还不能完全取代人类开发者的创造力、解决问题的能力和推理能力。AI在完成代码生成和错误修复这样的简单任务上很有帮助，但在理解复杂问题、处理上下文和做出创造性决策方面，它还有局限性。开发者应该把AI当作提升工作效率的工具，而不是替代自己的技能。AI更像是一种帮手——它可以帮助开发者更高效地写出更好的代码，但它还不能像人类那样思考、推理或创新。优秀软件开发的核心还是在于成长、学习和创造力，在这些方面，AI还有很长的路要走。
2024-12-14 13:08:49
3080
12
原创 浏览器插件开发实战
指的是插件的html页面使用script标签引入的JS文件，它的地位是属于插件所有，作用域在插件这边，但是权限没有service-worker.js大。因此，说脚本通信，指的是插件脚本（service-worker.js、popup.js）和content.js脚本之间的通信。在vue.config.js中，配置build过程，主要说明要加载的页面是popup/popup.html。最后编写前端页面绑定的js，注意popup.js与全局service-worker.js是不一样的。
2024-12-11 21:47:42
3078
9
原创 现代观测平台:从手搓ELK到SaaS的转变
Elasticsearch：是一个分布式的搜索和分析引擎。它能够处理大量的数据，并提供快速、准确的搜索结果，支持复杂的数据分析和可视化。ES应该很多人都在八股文里学过。列式存储数据库，支持向量存储，工作中也经常使用。Logstash：是一个日志收集和处理工具。它可以从各种数据源收集数据，并对数据进行过滤、解析和转换，使其能够被Elasticsearch等系统所理解。Kibana：是一个数据可视化工具，提供了强大的图形化界面，能够帮助用户更好地理解和分析数据。
2024-12-11 12:30:43
2720
6
原创 SWIRL：有望成为2025年顶级AI搜索引擎
现在几乎每家公司都会有内部文档系统，如阿里的语雀、钉钉，字节的飞书，Confluence，印象笔记等等都可以提供给B端在局域网部署。因此，如果能把搜索功能做得高效，就能提高自家产品的竞争力。想象一下，你的身边多了一个聪明绝顶的个人助手，他总能洞察你的心思，甚至在你说出口之前就能预知你的需求。这就是AI赋能的搜索引擎带给我们的美好愿景，它正在颠覆我们获取和处理信息的传统方式。
2024-12-09 12:26:17
3201
11
原创 【JDK】class file has wrong version 65.0, should be 52.0报错解决原理
所以假设你的Jar使用jdk21发布的，然后你在jdk8的runtime导入，编译时就会报错；反之由于向下兼容，你在jdk21 runtime导入jdk8编译的Jar不会出错。
2024-12-02 10:45:24
3666
26
原创 工作中必备的五个SQL技巧
这里提到的应用场景，在现实工作中极具实用价值。设想一下，面对大量的非结构化数据，需要先对这些信息进行梳理，以便于策划和执行各类专项促销活动。在这种情境下，我们往往会发现，为了确保数据的精准度，适当降低一些处理速度是可以接受的。在我的SQL日常工作中，有几个重要的小技巧可以提升我的数据库管理和数据操作能力。当执行更新时，尤其是那些可能影响大部分数据的更新，将操作包装在事务中是非常重要的。面对复杂的查询，尤其是那些涉及多个子查询的情况，使用临时表能够大大简化操作，同时提升SQL代码的可读性和可维护性。
2024-11-26 23:21:01
3176
23
原创 利用Prompt工程为LLM提升推理能力
众所周知，一个精心设计的Prompt能够显著增强大型语言模型（LLMs）的推理能力，助力AI应用更高效地解决实际问题。本文将深入探讨如何通过有效的Prompt工程技术，实现这一目标。【⭐文章结尾附全部代码⭐】有效的Prompt工程技术对于帮助大型语言模型（LLMs）产生更可靠、结构化且推理严谨的回答至关重要。：将复杂任务细分为更小、更易管理的步骤，帮助LLMs更系统地进行信息处理，减少错误，提升逻辑一致性。：制定明确的输出结构，引导LLMs有序组织思路，以更易懂的方式呈现信息。
2024-11-24 19:43:09
3339
15
原创 【MySQL报错解决方案】MySQL存emoji表情报错 Incorrect string value: ‘\\xF0\\x9F\\x98\\x84‘ for column
出错描述。
2024-11-08 00:44:54
5570
44
原创 【大数据】Spark Executor内存分配原理与调优
我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对 Spark 进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现问题。
2024-10-11 00:20:43
9059
60
原创 我的创作纪念日
提示：你过去写得最好的一段代码是什么？提示：当前创作和你的工作、学习是什么样的关系。提示：可以和大家分享最初成为创作者的初心。提示：在创作的过程中都有哪些收获。提示：职业规划、创作规划等。
2024-10-11 00:05:13
2895
7
原创 【大数据】基于Spark WebUI定位数据倾斜与Spark调优
作为一名算法工程师，掌握Spark框架的调优与原理是必备技能之一，而Spark任务的调优往往与**“数据倾斜”**这个概念相关。
2024-10-07 23:54:37
3954
24
转载 【大数据】Spark--一文了解WebUI
日常工作中经常用到sparkui来排查一些问题，有些东西需要经常搜索，网上的文章有写的很棒的，也有写的一言难尽的，这里参考了其他大佬的文章，自己整体梳理了一下，方便自己使用，也希望能帮助到大家～
2024-10-07 12:15:51
3840
5
原创 【大数据】MapReduce的“内存增强版”——Spark
在大数据时代，数据处理和分析成为企业竞争的重要手段。Hadoop作为大数据处理的基石，其核心组件MapReduce在众多场景中发挥了巨大作用。但是随着业务数据变多业务变复杂，MapReduce在处理速度、迭代计算等方面逐渐暴露出局限性
2024-09-14 21:13:40
6465
74
原创 【大数据】深入浅出Hadoop，干货满满
Hadoop是一个开源的分布式计算平台，由Apache软件基金会开发和维护。它是大数据处理的基石，能够高效地存储和处理大规模数据。目前业界基本上用的都是**Hadoop及其生态下的产品**。Hadoop的主要特点是高可靠性和高扩展性，它可以在成百上千个节点上运行，每个节点都可以存储和处理数据。
2024-09-08 01:57:04
3749
17
原创 【langchain】langchain调用huggingface本地模型基础demo
目前网上的langchain教程大多数都是关于如何调用OpenAI等远程模型，对于本地模型的调用示例写法比较少。而且langchain也在不停迭代，文档也比较杂。因此，本文将向大家介绍如何使用Langchain调用Hugging Face本地模型的基础demo，帮助大家快速开始langchain的“Hello World”。【注意】事先安装langchain_huggingface、langchain，并下载好模型权重。相关写法参考的是langchain官方文档。
2024-06-10 23:33:49
5092
195
原创 【EventSource错误解决方案】设置Proxy后SSE发送的数据只在最后接收到一次，并且数据被合并
SSE前后端一切正常，但是`fetchEventSource `的`onmessage`回调函数只在所有流都发送完毕后，才会执行一次。
2024-05-18 23:16:59
4866
103
原创 【EventSource错误解决方案】EventSource的onmessage回调函数不触发
客户端发送请求后，使用的`fetchEventSource `的`onmessage`回调函数不触发，根本就拿不到数据，但是`onopen`函数可以正常执行。
2024-05-18 23:05:27
5760
28
原创 【Qwen模型】QWEN TECHNICAL REPORT
在阅读了本篇论文和`transformers`库里面的`Qwen2Model`源码之后，我观察到模型用的组件tricks有RoPE（苏剑林提出）、RMSNorm、SwiGLU、SdpaAttention等等；
2024-04-19 16:54:38
6122
101
原创 【mT5多语言翻译】之一——实战项目总览
【注】我的显卡是8GB显存的4060，现在电脑好像都有GPU专用内存（在内存里划nGB专门给显卡使用），我的GPU专用内存是8GB，所以算下来可以提供16GB显存，即使是全量参数微调电脑也是可以跑的，大家可以试一下。【注】官方只提供了mT5模型的无监督训练参数，并没有放出微调任务的参数，因此我们想直接开箱使用是不可以的，必须要自己微调一下才可以输出正常的文本。这一点和T5模型比较不同。只要是上述102种语言之间的翻译任务，mT5都可以训练。如果需要本项目的源代码，请扫描关注我的公众号，回复“多语言翻译”。
2024-04-11 01:20:09
4881
62
图像处理 手写体英文字母的目标检测与识别 代码与实验报告
2023-01-24
神经网络实现英文文本分类（pytorch）
2022-02-16
鸢尾花(iris)数据集
2021-09-05
三级联动-级联选择器.zip
2020-04-30
--表格-插件.zip--
2020-04-28
是男人就下一百层.zip
2020-04-28
---指尖大冒险.zip---
2020-04-28
五子棋web版代码压缩包.zip
2020-04-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人