- 博客(60)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Deepseek模型技术之MOE模型
最近Deepseek（后续简称“DS”）爆火，所有人都在谈论DS厉害，最近学习整理了一下deepseekMOE技术背后的MOE模型，MOE模型具体是什么？它和传统稠密（dense）结构的transformers模型有什么区别？它的工作原理是什么？以上内容仅代表个人理解，如有错误欢迎交流。
2025-03-05 15:48:46
132
原创 浅谈文生图Stable Diffusion（SD）相关模型基础
简单分享关于文生图模型Stable Diffusion的基础知识，包含涉及的相关模型知识，如：VAE/UNet/Diffusion Mode等模型基础知识
2024-12-18 16:36:51
1725
原创 模型压缩相关技术概念澄清（量化/剪枝/知识蒸馏）
知识蒸馏（Knowledge Distillation，简记为 KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的 ensemble），在不改变学生模型结构的情况下提高其性能。像知识渊博的老师向传授学生知识；更像老师和学生共同学习；更像学生自己学习知识。日常学习总结。
2024-11-12 19:32:44
1456
原创 linux服务器通过手机USB共享网络
3、 使用usb数据线，一端连接服务器USB接口，一端连接手机，连接好数据线后，在手机设置中打开“通过USB共享网络“（以xiaomi14为例）现网交付时，客户机房设备未接入互联网，需要联网拉去软件包时，通过手机USB共享网络给服务器。4、 再次使用命令查看是否将USB识别为新的网络接口，此时没有IP地址。6、 再次查看网络接口地址是否生成。7、 确认接入互联网（配置DNS）5、 为网络接口分配IP地址。2、 查看现有网络接口。centos系统需要。
2024-11-08 14:55:01
2511
原创 Linux服务器自动化批量安装IB网卡驱动
日常若进行大批量服务器IB网卡驱动安装，通常没有好用的批量工具，手动安装费时费力，因此分享一个自动化批量安装IB网卡驱动的脚本，供大家参考
2024-10-23 14:39:05
525
原创 PyTorch精度工具使用教程
同一模型，从CPU或GPU移植到NPU中存在精度下降问题，对比NPU芯片中的API计算数值与CPU或GPU芯片中的API计算数值，进行问题定位
2024-10-21 11:21:03
1322
原创 浅谈Continue Pretraining（增量预训练）
浅谈Continue Pretraining基本概念/产生原因/逻辑本质/训练方式/使用场景等
2024-09-25 13:47:09
601
原创 昇腾大模型性能分析思路
我们根据性能问题的场景，按照单机和集群场景进行分类，再明确性能问题属于哪一类，明确好性能问题背景之后，才方便进行下一步问题的定位；在明确问题背景后，参考，选择对应的性能工具，采集性能数据并拆解性能，找到需要提升性能的模块；在明确性能瓶颈模块后，将问题细化定位到下发、计算和通信等模块，并通过本文目录搜索到对应章节找到对应优化算法。
2024-09-04 19:17:33
1580
原创 LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练等多种训练方法。
2024-09-04 15:31:25
2158
原创 浅谈FlashAttention优化原理
背景：在Transformer 结构中，自注意力机制的时间和存储复杂度与序列的长度呈平方的关系，因此占用了大量的计算设备内存和并消耗大量计算资源。如何优化自注意力机制的是大语言模型需要面临的重要问题。
2024-08-28 17:06:56
1433
原创 ubuntu系统GPU从0开始构建大模型训练环境
liunx系统基于CUDA生态从0开始构建大模型训练环境；ubuntu+CUDA+pytorch+ChatGLM
2024-08-28 14:28:44
1684
原创 DeepSpeed基础及内存优化特性
DeepSpeed是一个由Microsoft 公司开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性，使研究人员和工程师能够更快地迭代和探索新的深度学习模型和算法。它采用了多种技术手段来加速训练，包括等。此外，DeepSpeed 还提供了一些辅助工具，例如，以帮助开发者更好地管理和优化大规模深度学习训练任务。
2024-08-04 23:39:30
1678
原创 什么是人工智能领域的“下游任务”
这些大型预训练模型通常是在大量无标注或弱标注的数据上通过自监督学习（self-supervised learning）的方式预先训练得到的，目的是捕获语言或数据中的通用表示（representations）。此外，预训练模型还允许研究人员和开发者利用有限的标注数据来训练模型，降低了对大规模标注数据的依赖。这些任务通常需要利用预训练模型学到的通用表示，通过微调（fine-tuning）或特征提取（feature extraction）的方式，来适应特定的应用场景。
2024-08-04 23:31:57
680
原创 强化学习和有监督学习的区别
随着ChatGPT、Claude 等通用对话模型的成功，强化学习在自然语言处理领域获得了越来越多的注意力。在深度学习中，有监督学习和强化学习不同，可以用旅行方式进行更直观的对比，和可以看做，每种旅行都具备着自己独特的风景、规则和探索方式。
2024-07-23 17:11:09
495
原创 浅谈全量微调和PEFT高效微调(LoRA)
是指在预训练的大型模型基础上调整所有层和参数，使其适应特定任务的过程。这一过程使用较小的学习率和特定任务的数据进行，可以充分利用预训练模型的通用特征。
2024-07-15 21:27:47
828
原创 什么是Base模型？什么是chat模型？什么是instruct？什么是4Bit？
常常在开源模型仓看到大模型库中有`base`、`chat`、`instruct`和`4bit`等模型，作为小白来说经常搞不明白需要下载哪一个，今天就带大家简单了解一下
2024-07-15 20:12:59
14409
3
原创 AI算法/模型/框架/模型库...都是什含义区别和联系？
算法(Algorithm)：算法是解决某一特定问题的步骤或规则集合。在AI/ML领域中，算法是用于训练模型、优化参数和执行推理的数学规则和计算方法。算法是模型训练的核心，通过不断优化模型参数以最小化误差或最大化性能。
2024-07-06 01:47:46
2849
原创 01通俗理解大模型预训练和微调
但是通用大模型在某些方面的垂直能力可能还不具备，因此需要用到一些领域的数据或私有化数据对大模型进行改良，这个过程叫做微调。通过海量数据数据，训练一个通用大模型，此时大模型具备很多能力。简单理解大模型预训练和微调的过程。
2024-07-03 00:59:35
304
原创 网络聚合通信测试--自动化测试脚本
常见集群网络聚合通信测试，包含：alltoall/allgather/allreduce/barrier/bcast/gather/reduce/scatter。进程数从2开始，以2的幂次增加至满核。自动化测试脚本
2024-06-18 19:54:00
421
原创 正则表达式基础
思考–问题答案在文末Q1：什么是正则表达式？正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。Q2：他有什么用处？常见匹配字符常用的匹配规则-匹配字符数量匹配前一个字符出现0次或者无数次匹配前一个字符出现1次或者无数次。
2024-06-06 23:44:45
1010
原创 深度学习框架-----Tensorflow2基础
静态图：采用静态图（模式）的即s可正w，通过计算图将计算的定义和热行分隔升，这是-种声明式（declarative）的编程模型。Graph模式下，需要先构建og命计算图然后开启对话（sesSsion），再喂进数据才能得到执行结果。这种静态图在分布式训练，性能优化和部署方面有很多优势。但是在de叫g时确实非常不方 更，类似以于对编译好的语言程序调用，此时是我们无法对其进行内部的调试，因此有了基 于动态计算图的EagerExecutiog。
2024-06-06 20:59:25
1384
DBCP驱动包、hibernate所有jar包、JSON所有的jar等超详细合集.zip
2021-08-22
（毕设）基于Android的学生在线学习平台（移动端+服务器端+数据库）
2021-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人