- 博客(54)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 【LLM】3：从零开始训练大语言模型（预训练PT、微调SFT、RLHF）
奖励函数用于评估生成模型的输出质量。将输入文本和生成的响应传递给奖励模型，得到分数并作为奖励信号返回。
2024-11-07 15:51:41
2611
原创 【LLM】6：大语言模型中的 KV 缓存机制
KV 缓存在自注意力机制中的作用是在推理阶段缓存之前计算过的 Key 和 Value 矩阵，避免在生成新 token 时重复计算，显著提升推理效率，特别是在长序列生成任务中效果明显。这种缓存机制是大模型推理阶段提高性能的关键优化之一。
2024-10-12 23:50:42
1830
原创 【LLM】5：Self-Attention中注意力分数的含义
自注意力机制（Self-Attention）是Transformer模型的核心组件，其中Q、K、V矩阵分别代表查询（Query）、键（Key）、值（Value）。它们的作用和含义可以通过信息匹配过程来理解。在自注意力机制中，输入的序列数据会经过线性变换，生成这三个矩阵，然后用于计算注意力权重和最终输出。
2024-10-12 23:35:24
1878
1
原创 【LLM】8：大语言模型的量化（GPTQ、GGUF、AWQ原理）
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。
2024-09-23 18:20:03
4797
原创 【SHM】Semantic Human Matting图像分割
2018年阿里的论文《Semantatic Human Matting》给出了抠图方法复现
2020-11-04 15:38:23
7847
29
原创 mask图生成trimap图的方式
trimap图在AI抠像中的用途是为了得到精准的alpha图，以便后续的合成。trimap确定需要的前景区域位置——下右图的白色区域；确定不需要的背景区域位置——下右图的黑色区域；介于需要与不需要的待分割区域位置——下右图的灰色区域；trimap图大多都是由人工处理得到的，而标记的过程耗时耗力。这里介绍一种基于mask图生成trimap图的方法，时间效率要比手动处理快，但是效果表现有待提高。
2020-10-30 15:08:14
7454
6
原创 Dlib实现人脸检测，并剪切人脸照
一、Dlib的安装：如果你的Python版本是3.6，那么安装dlib要简单很多，直接pip install dlib==19.7.0如果上面安装失败，就用博主附带的.whl文件进行安装吧。（如果你的Python版本不是3.6，又或者你想安装dlib其他的版本，博主爱莫能助，但是你可以在这里找到合适的版本和方法。）–------------------------------------...
2019-01-13 18:01:31
4392
1
原创 Python四种数据类型[str/list/tuple/dict]之间的转换
# -*- coding：utf-8 -*-# -*- author：zzZ_CMing CSDN address:https://blog.csdn.net/zzZ_CMing# -*- 2018/12/02; 14:52# -*- python3.6"""# python中不同的数据类型有不同的使用场景，只有使用符合规定的数据类型才会得到正确结果，# 所以数据类
2019-01-13 16:23:12
6934
原创 Python调用科大讯飞语音听写的SDK包
下载科大讯飞语音听写的SDK包1.1、注册下载语音听写SDK包第一步：登录讯飞开放平台，找到产品服务——“语音听写”，点击“立即开通” 第二步：创建新应用 第三步：创建应用，填写信息，应用平台选择windows 第四步：完成创建后，点击右上角控制台旁边你的登录名，点击我的应用，进入后就可以看到你注册的应用 第五步：注意你的APPID号，这个后来有用处，请...
2018-08-16 11:21:05
16784
8
原创 【深度学习】9：CNN实现olivettifaces人脸数据库识别
说明：olivettifaces人脸数据库简介大家可以通过链接自己了解，这里就不赘述了，必要且简单的说明还是会悉心奉上 –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-—-—-——- –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-...
2018-07-20 10:35:41
10008
5
原创 MNIST数据集转为图片形式输出
前期工作1、下载MNIST数据集（四个压缩包），并将四个压缩包的内容解压出来，如下图： 2、在运行代码目录下，建立data文件夹，data文件夹下包含两个子文件夹data_a、data_c，最后在data_c文件夹下建立以0~9为名的十个文件夹，如下图：...
2018-07-16 13:57:31
12871
14
原创 Python实现二维数组的对角线遍历（倾斜遍历）
第一种情况：从左上角出发，右下角结束要完成的事情，就像下图： 话不多说，直接上Python实现代码与结果展示：# 输出遍历的索引与其对应的值A = [[1,2,3],[4,5,6],[7,8,9]]n = len(A)for i in range(n+n-1): for j in range(i+1): k = i-j if k<n...
2018-07-13 17:41:13
8809
2
原创 【机器学习】5：谱聚类算法原理介绍
前言：学习谱聚类，最好有一些图论、矩阵分解（SVD）方面的知识，这样会更加有利于谱聚类的学习。当然，谱聚类理解起来并不困难，实际操作也大多是谱聚类+K-means聚类联合使用的。 –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-—-—-——- –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-
2018-04-25 18:55:36
2747
原创 【机器学习】4：层次聚类原理介绍（未完善）
待完善–—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-—-—-——- –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-—-—-——-系列推荐：【监督学习】1：KNN算法实现手写数字识别的三种方法 –—-—-—-—-—-—-—-—-—-—-
2018-04-25 18:55:08
541
中文聊天机器人chatbot源码
2018-07-31
朴素贝叶斯算法做文本分类-代码
2019-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人