- 博客(866)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 TensorFlow 常用类与方法
在 graph 启动之前, 所有的 var 都可以看作 placeholder, 并没有实际, 具体的值去填充. 所以 session 就是一个让 graph launch 起来的机制.可分为多种, 如 模型的首层输入tensor, 计算得到的tensor, 构建的常量tensor, 及参与训练的 trainable tensor., 重置当前的张量图, 相当于清空所有的张量, 在 jupyter 中可以用到, 比如有些cell 执行过后不满意,就可抹掉执行效果.它也有自己的完全限定名.
2017-08-16 09:59:03
2352
1
原创 最优化算法 总述
Newton method牛顿法.Quasi-Newton拟牛顿法.BFGSBFGS, Broyden–Fletcher–Goldfarb–Shanno algorithm.L-BFGSL-BFGS,Limited-Memory BFGSOWL-QNOWL-QN,Orthant-Wise Limited-Memory Quasi-Newton.
2017-06-26 09:30:25
2160
原创 互联网广告基础知识
广告主, Advertiser, 付费推广自家产品.广告平台媒体, 提供广告展示的流量资源, 如app的信息流广告, 朋友圈的广告用户. 使用app中会看到广告的人.
2025-04-24 11:45:13
223
原创 transformers 预训练模型的 PreTrainedTokenizer
预训练模型用的 PreTrainedTokenizer 需要完成 truncate, [pad] 以便保证 batch 内的序列长度统一. 还需要搭配相应的 attention mask 来标记 pad 的位置, 以便在计算自注意力时忽略填充部分，避免引入噪声信息。它不再属于 hugging-face 出品的独立 tokenizer 库, 而是归属于 transformers 库, 位于。
2024-12-18 15:22:33
268
原创 torch 内置 attention (sdpa) 实现
transformer 架构的 qkv-attention 太流行了, 以至于 torch 官方直接给出了 C 实现, 位于 torch._C._nn.py, 性能更高.
2024-12-16 15:13:29
593
原创 LLM 幻觉现象及 RAG 解决方案
流程简介：将文本分块，然后使用一些 Transformer Encoder 模型将这些块嵌入到向量中，将所有向量放入索引中，最后创建一个 LLM 提示，告诉模型根据我们在搜索步骤中找到的上下文回答用户的查询。
2024-01-03 11:10:56
730
原创 GPT-2 笔记及简明源码
open ai 出品, 与 google 的 bert 系列 是不同的任务, NLGeneration vs. NLUnderstanding.
2023-08-28 11:43:10
1547
原创 tensorflow 中的 gradient 与 optimizer
Optimizer.`minimize`(self, loss, global_step=None, var_list=None, ...)返回一个 train_op, 运用优化方法求损失函数的极小值. 它其实是以下两个 api(梯度计算与参数更新) 的封装. 当我们想在二者之间做一些自定义操作时, 就可以显式地分开调用
2023-07-12 15:29:20
1685
原创 pytorch 中的数据集与多进程并发
需要 Dataset + collate_fn + Sampler + DataLoader 联用, 才等价于 tf 的 dataset.
2023-06-20 14:58:53
1853
1
原创 transformers库中torch的train loop设计
工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.
2023-05-29 11:45:27
2236
原创 LoRA, 替代 fine-tune 的轻量级低秩分解
LoRA, Low-Rank Adaptation of Large Language Models, 大语言模型的低秩适配器. 这里的秩就是通用的最大线性无关组个数这样的定义.适用场景: 用 Lora 来替代大模型的常规 fine-tune.
2023-05-15 16:12:24
2121
2
原创 AIGC 文生图及 stable diffusion webui 练习笔记
第一步, 拉git仓库第二部, 进入项目目录, 运行 webui.bat (linux 为 webui.sh). 它会安装 venv 虚拟环境, 还会试运行。
2023-04-28 18:30:13
1142
原创 NLP 中的 prompt 笔记
NLP 中, 一种用于 Language Model 的 Pretrained Task 范式.前辈的特点是让模型通过去适配这些任务. 流程是 “pre-train, fine-tune, and predict”.而 prompt 的思路则与此相反, 调整预训练任务的形式(Reformulate), 使其更接近于原始预训练任务(如 完形填空). 流程是 “pre-train, prompt, and predict”.
2023-02-16 11:09:18
1120
原创 公务员考试要求及流程梳理
以我所在的浙江为例, 网址见参考[1].公务员考试录用入口.公务员公开遴选入口. 报考对象是基层公务员群体, 通俗理解就是从公务员队伍中，继续再晋升报考更好单位的公务员.公开选调入口. 报考对象是应届大学本科毕业生，他们的身份还不是公务员。而且选调生入职后更多扎根基层，作为党政机关重点培养的干部后备人选。
2022-12-15 20:43:23
1532
原创 python profile 性能分析
自己写了一个小型项目, 写完发现运行一次要好几秒, 瓶颈在哪呢?有无优化空间?涉及到的对象比较多, 方法间的嵌套和递归调用也不少, 很难手工打印时间戳去分析耗时. 此时就需要专业工具啦.
2022-11-24 16:11:05
1273
原创 pytorch autograd 自动微分与梯度更新
pytorch 内置了常见 tensor 操作的求导解析解. 从 loss 到 parameter 是若干个 op 叠加起来的复合函数, 所以用链式法则逐个计算.tensor.grad_fn 记录了一个 tensor 是由何种运算产出的, 以及相应的求导解析解.
2022-09-20 17:55:22
1300
原创 py 用 playwright 做 web自动化测试
web 自动化测试, 是指用 运行代码的方式, 在浏览器中完成对网页的指定的操作, 解放双手与眼睛.
2022-08-12 17:36:27
1625
原创 volvo s60 T4 2021款 使用手册
图: 千斤顶位置图：千斤顶头部为 圆形凸块图: 左前轮的位置标示, 整体图图: 左前轮的位置标示, 局部特写图图: 底部视角, 圆孔可对应 千斤顶的凸起, 是受力的地方官方手册中有两处是错误的.见下图.图. 手册中的错误1为:千斤顶的头部为圆形凸块而非凹槽; 错误二为底盘样式不符且支点是圆孔而图中描述的红色条块.......
2022-06-25 15:26:50
971
原创 统计图表之桑基图 sankey diagram
一种展现能量流动的图表. 典型场景有:网上搜, 大多是付费软件的引流, 博主良心整理出无套路的 即用即走 在线工具.参考[1]的界面参考[2]的界面
2022-06-23 11:13:07
638
原创 中医脉象诊断
切诊, 即 望闻问切 之切, 又称把脉. 单解"切", 有 接触, 按压 之意.中医学认为, 血脉贯通人体全身, 故脉象可反映全身的 气血, 阴阳 及脏腑功能.多处的脉都可以诊, 以 寸口脉 最为常见.“寸关尺” 三个部位, “浮中沉” 三个深浅程度, 搭配起来就是 九种数据反馈, 俗称 三部九侯.正常脉象称"平脉". 寸关尺三部均有脉, 不浮不沉, 从容和缓.脉可理解为动脉, 寸口脉之外的其他脉, 也可以诊.寸口脉对应西医解剖, 叫 桡(ráo)动脉, radial artery........
2022-06-03 15:41:54
2658
原创 家庭常用药
文章目录止痛感冒药中成药(含西药组分)西药抗生素/消炎药中成药头孢(处方药)青霉素(处方药)红霉素(处方药)甲硝唑(处方药)抗过敏肠胃止痛布洛芬缓释胶囊.用于牙痛, 头痛等.感冒药中成药(含西药组分)感冒灵胶囊.成分: 三叉苦, 金盏银盘, 野菊花等. 对乙酰氨基酚.功效: 解热镇痛, 用于感冒引起的头痛发热, 鼻塞流涕, 咽喉肿痛.维C银翘片成分: 三叉苦, 金盏银盘, 野菊花等. 对乙酰氨基酚.功效: 解热镇痛, 用于感冒引起的头痛发热, 鼻塞流涕, 咽喉肿痛.
2022-05-27 13:48:56
327
原创 中医 肝与血的认识
肝在现代生活中的 工作机能与负荷.久视伤血面向电脑屏幕工作, 面向手机屏幕娱乐. 眼睛终日不得休养.肝开窍于目眼睛干涩, 视物模糊.魂藏于肝五脏与五行中的肝todo魂藏于肝神,魂,魄魂的现代释义, 指伴随心神活动而产生思维意识. 那么古书怎么讲?《左传·昭公七年》云:“人生始化曰魄,既生魄,阳曰魂”. 是说魂魄生来即有，阳神曰魂，阴神曰魄, 魂魄其实就是生命的一部分.《四圣心源》有说:“阳气方升，未能化神，先化其魂. 阳气全升，则魂变而为神”. 是说魂是阳气化神的过渡性产物，是神
2022-05-04 17:23:17
937
原创 中医哲学基础(精气阴阳五行)
精气,阴阳,五行学说是我国古代 唯物论的世界观 和 辩证法的方法论, 是中医的哲学基础.世界观有 {唯物,唯心}; 方法论有 {辩证法,形而上}. 两个概念可以自由组合.前者讲怎么认识世界, 后者讲怎么解释与改造世界.我的疑问: 有资料说"世界观决定方法论", 那还怎么组合?精气学说todo阴阳学说todo五行学说五行中的每一行, 都有 {我生, 生我, 我克, 克我} 四个方面的联系, 即每一行都与其他四行有联系.相生相克木->火->土->金->水[-&g
2022-05-04 12:08:44
633
原创 中医 基本病机
病机为病理反应.邪正盛衰实证邪气强盛, 正气未衰, 二者抗争有明显的病理反应.多见于外感病的初期, 脉实有力.虚症正气已衰, 不能与邪气积极抗争, 难以出现剧烈的病理反应.多见于外感病后期, 慢性消耗性疾病的过程中. 脉虚无力.虚实错杂与虚实真假由于正邪斗争的复杂性和人体部位间的相互影响, 会有 虚中夹实, 真虚假实 等病机.阴阳失调正常情况下, 阴阳双方会相互制约, 达到动态平衡.阳虚阴虚此时不能制约阳气, 会有 阴虚阳亢 等病理表现, 是虚症.阴阳互损阴阳一方有虚损, 随
2022-05-03 14:31:57
414
原创 py flask web框架
文章目录flaskpy web 几大框架, Django, Flask, Tornado.完整的框包括 {页面模板, 登录验证, 表单处理, 文件上传, https支持} 等等.我的常用需求只是 web service, 所以 flask 更灵活, 轻量.flaskfrom flask import Flaskfrom flask import Flask, render_template, requestapp = Flask(__name__)@app.route('/')def
2022-02-28 15:14:45
476
原创 C++ 内存管理
c++内存分为代码、堆、栈、常量和全局//静态存储区。不同变量的存储位置：全局/静态存储区——全局变量，static变量；栈——局部变量、函数调用时的参数。栈的容量一般比较有限；堆——new运算符分配，需由delete释放；若分配失败，new返回NULL，记得安全性检查。常量存储区——这是一块比较特殊的存储区，里面存放的是常量。new/delete 与 malloc
2022-02-22 18:52:03
1047
原创 py memory profiler 内存分析
使用场景:py进程的内存占用随时间而膨胀, 导致每几个小时oom一次, 怎么定位?memory_profiler通过方法加 @profile 注解, 探测其执行前后, 整个 py解释器 的内存总占用变化.侵入性强, 发布程序时还要去掉该注解.pip install memory_profiler注解的两种用法没有 import 导入的注解 + python -m memory_profiler 启动参数from memory_profiler import profile 的注解
2022-02-21 16:40:42
581
win7防音量过大自干预程序_ vs2010完整解决方案.zip
2013-09-21
DirectSound开发手册
2013-02-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人