- 博客(77)
- 收藏
- 关注
原创 Spring Cache + Redis 声明式缓存指南
/ 格式:类名:方法名:参数1_参数2 return target . getClass() . getSimpleName() + ":" + method . getName() + ":" + Arrays . toString(params) . replaceAll("[\\[\\]\\s]" , "");} }
2026-01-05 23:17:01
259
原创 Dropout 学习笔记
Dropout是一种正则化技术,在训练时以概率ppp随机丢弃训练阶段:每个神经元以概率ppp被"关闭"(输出置为 0)推理阶段:所有神经元都参与计算,但输出需要乘以1−p(1-p)1−p进行缩放定义与作用Dropout 是一种正则化技术,通过随机丢弃神经元防止过拟合训练时随机丢弃,推理时使用完整网络并缩放数学原理标准 Dropout:训练时丢弃,推理时缩放Inverted Dropout:训练时缩放,推理时无需修改(现代框架默认)实现要点使用和切换模式。
2026-01-03 00:14:25
764
原创 Spring Data Redis + Redisson 学习笔记
适合基础操作和缓存Redisson适合分布式锁和高级功能结合使用可发挥各自优势缓存穿透/击穿/雪崩是必须防范的问题分布式锁必须设置超时时间并正确释放性能优化关注 Pipeline、Lua 脚本、连接池。
2026-01-02 23:37:46
959
原创 TabPFN 学习笔记
金融风控(信用评分、欺诈检测)医疗诊断(疾病预测、患者分类)推荐系统(用户画像、CTR预估)工业质检(设备故障预测)挑战具体问题模型选择困难XGBoost、LightGBM、神经网络等众多选择,需要大量实验超参数调优耗时网格搜索、贝叶斯优化等过程复杂且计算密集小样本性能差传统方法在数据量较小时容易过拟合特征工程依赖需要领域知识进行特征选择和构造训练时间长对于复杂模型,训练可能需要数小时甚至数天适合 TabPFN 的场景✅ 小样本分类任务(100-10,000样本)✅ 需要快速原型验证。
2025-12-30 08:34:10
929
1
原创 信号与图像平滑算法指南
平滑(Smoothing) 是一种信号处理技术,通过降低数据的高频成分来减少噪声,使数据趋势更清晰。本质上是一种低通滤波过程。核心思想:⚠️ 平滑不是免费的,存在以下权衡:时域:信号随时间的变化(x轴=时间,y轴=幅值)频域:信号的频率成分(x轴=频率,y轴=幅度)低通滤波原理平滑后信号=原始信号∗低通滤波器\text{平滑后信号} = \text{原始信号} * \text{低通滤波器}平滑后信号=原始信号∗低通滤波器其中 表示卷积运算。对每个数据点,用窗口内所有点的平均值替代:y[i]
2025-12-30 08:33:12
555
原创 PyTorch Lightning 中 TorchMetrics
需要计算调整 R²(Adjusted R²)"""调整 R² 分数公式:Adjusted R² = 1 - (1 - R²) * (n - 1) / (n - p - 1)其中 n 是样本数,p 是特征数"""# 定义状态变量"""每个 batch 调用,累积状态"""# 残差平方和# 总平方和# 样本数"""Epoch 结束时调用,计算最终值"""# 计算 R²# 计算调整 R²# 使用示例。
2025-12-29 11:40:28
790
原创 迁移学习与对抗迁移学习
迁移学习的本质:利用源域知识解决目标域问题,突破 i.i.d. 假设限制对抗迁移学习的优势✅ 显式对齐域分布✅ 无监督/半监督场景✅ 理论基础扎实实践建议先尝试简单方法(微调、CORAL)根据域差异选择方法注意超参数调优(λ 调度最关键)未来方向大模型时代的域适应多模态迁移学习高效域适应(少样本、轻量化)
2025-12-27 18:56:35
1115
原创 贝叶斯优化与高斯过程回归
高斯过程是一个随机过程,其任意有限个随机变量的联合分布都是多元高斯分布。fx∼GPmxkxx′fx∼GPmxkxx′))mxmx均值函数,通常设为 0kxx′kxx′核函数(协方差函数),定义点之间的相似性高斯过程回归非参数贝叶斯方法,直接建模函数分布提供预测均值和不确定性核函数定义函数的先验性质贝叶斯优化用 GP 作为代理模型,指导采样策略采集函数平衡探索和利用样本高效,适用于昂贵黑盒优化应用原则。
2025-12-26 21:07:45
1118
原创 PyTorch 学习率调度器曲线可视化指南
核心问题:可视化的价值:基本概念:2.2 常见调度策略分类3. Scheduler 详解与曲线分析3.1 StepLR - 阶梯式衰减数学公式lr(t)=lrinitial×γ⌊t/step_size⌋\text{lr}(t) = \text{lr}_{\text{initial}} \times \gamma^{\lfloor t / \text{step\_size} \rfloor}lr(t)=lrinitial×γ⌊t/step_size⌋参数说明:曲线特征lr(t)=lr
2025-12-26 11:01:36
783
原创 PyTorch Tabular 学习笔记
PyTorch Tabular 是一个基于 PyTorch Lightning 的库,专为表格/结构化数据的深度学习而设计,提供标准化的接口和多种最先进的模型。│ PyTorch Tabular 生态系统 ││ 数据层: DataConfig, TabularDatamodule ││ 模型层: CategoryEmbedding, TabNet... ││ 训练层: TabularModel (PyTorch Lightning)│。
2025-12-26 11:00:55
1076
原创 PyTorch Optimizer 与 Scheduler 指南
Optimizer(优化器)是根据损失函数的梯度来更新模型参数的算法。核心任务参数更新公式(简化版):其中:- θ: 模型参数- lr: 学习率- gradient: 梯度(损失函数对参数的偏导数)常见 OptimizerSGD: 随机梯度下降Adam: 自适应学习率优化器AdamW: 修正权重衰减的 AdamRMSprop: 自适应学习率方法Scheduler(学习率调度器)是动态调整 Optimizer 学习率的策略。
2025-12-24 10:05:04
761
原创 PyTorch Optimizer 与 Scheduler 指南
Optimizer(优化器)是根据损失函数的梯度来更新模型参数的算法。核心任务参数更新公式(简化版):其中:- θ: 模型参数- lr: 学习率- gradient: 梯度(损失函数对参数的偏导数)常见 OptimizerSGD: 随机梯度下降Adam: 自适应学习率优化器AdamW: 修正权重衰减的 AdamRMSprop: 自适应学习率方法Scheduler(学习率调度器)是动态调整 Optimizer 学习率的策略。
2025-12-24 09:57:23
624
原创 Python Hook
Hook(钩子)是一种编程机制,允许你在特定事件发生时自动执行自定义代码,而无需修改原始代码逻辑。形象比喻想象一个流水线:原始流程: A → B → C → D添加 Hook:↑ ↑在 B 后执行 在 C 后执行定义:Hook 是一个函数或对象,在程序执行的特定点被自动调用。核心要素触发时机:何时调用 Hook(事件)Hook 函数:执行什么操作上下文信息:Hook 能访问哪些数据返回值处理:Hook 的返回值如何影响后续流程Hook 类型作用对象主要用途监控梯度nn.Module。
2025-12-24 09:09:30
1128
原创 PyTorch Lightning Callback 指南
定义:Callback 是一个可以在训练循环的特定阶段被调用的对象,用于执行自定义操作。核心特点继承自基类通过重写钩子方法(hook methods)来插入自定义逻辑在Trainer的特定时刻自动被调用# 获取父类的指标# 自定义显示格式(如显示更多小数位)items = {k: f"
2025-12-24 08:58:04
931
原创 TensorBoard 与 WandB 在 PyTorch Lightning 中的完整指南
定义:TensorFlow 官方开发的可视化工具,但完全支持 PyTorch。核心特点✅本地运行:无需联网,数据完全私有✅轻量级:无额外依赖,启动快速✅标准化:工业界广泛使用❌功能有限:缺乏实验管理、超参数扫描等高级功能❌团队协作弱:需要手动共享日志文件适用场景个人学习与小型项目对数据隐私有严格要求快速调试与可视化loss = ...# 仅记录到 TensorBoard# 仅记录到 WandB# 假设有预测概率和标签# 创建 matplotlib 图表。
2025-12-24 08:53:40
941
原创 Java (Spring Boot) 反射完整学习笔记
反射(Reflection)是 Java 提供的一种机制,允许程序在运行时检查类的结构(类名、父类、接口、字段、方法、构造器)创建对象实例访问和修改字段的值调用方法核心思想:将类的元数据(metadata)作为数据进行操作。@Target(ElementType.METHOD) // 作用于方法@Retention(RetentionPolicy.RUNTIME) // 运行时可获取// 注解参数需求:实现一个日志注解,自动记录方法的执行时间。需求。
2025-12-23 07:58:17
1117
原创 Python 反射完整学习笔记
反射(Reflection)是指程序在运行时检查(inspect)对象的类型、属性、方法访问(access)对象的属性和方法修改(modify)对象的属性和方法调用(invoke)对象的方法反射 = 运行时的动态操作能力反射是什么:运行时检查、访问、修改对象的能力核心函数getattrsetattrhasattrdelattrdirvars高级工具inspect模块、动态导入、type()创建类应用场景:插件系统、ORM、序列化、动态路由注意事项:性能开销、安全风险、避免滥用。
2025-12-23 07:56:37
907
原创 深度学习训练框架选择完全指南
这个任务是标准任务还是创新研究?标准 → 优先高封装框架(fastai, HF)创新 → 优先灵活框架(Lightning, 纯PyTorch)团队技术背景如何?新手多 → fastai/Keras(降低门槛)专家多 → Lightning/纯PyTorch(发挥优势)项目生命周期多长?短期POC → fastai(快速验证)长期维护 → Lightning(可维护性)是否需要生产部署?是 → 考虑部署生态(TF Serving, TorchServe)否 → 关注开发效率。
2025-12-22 18:20:33
864
原创 数据清理与特征工程完整指南
特征工程是利用领域知识和数据处理技术,从原始数据中提取或构造有用特征的过程。Andrew Ng:“应用机器学习基本上就是特征工程。特征工程的价值简单模型 + 好特征 > 复杂模型 + 差特征提高模型准确性、降低过拟合、加速训练工具库用途安装Pandas数据处理基础NumPy数值计算经典ML预处理自动特征工程高级类别编码不平衡数据处理Missingno缺失值可视化Optuna超参数优化数据质量验证数据清理和特征工程是机器学习成功的关键。本笔记涵盖了:✅数据清理:缺失值、异常值、重复数据、类型转换。
2025-12-22 07:00:26
654
原创 过拟合与欠拟合
想象你在准备考试。有两种极端的学习方式:方式A(死记硬背): 你把所有历年真题的答案全部背下来,包括每道题的具体数字、选项顺序。考试时,如果题目一模一样,你能得满分;但如果题目稍微变化(比如数字改了),你就完全不会了。方式B(浅尝辄止): 你只是粗略看了看教材目录,记住了几个章节名称。考试时,无论是原题还是新题,你都只能靠猜。这两种方式都有问题:理想状态应该是:你理解了知识的本质规律,既能做对练习题,也能应对考试中的新题。在深度学习中,我们的终极目标不是让模型在训练集上表现好,而是要在从未见过的真实数据上表
2025-12-20 10:19:36
1439
原创 tsai 中 Learner 机制深度学习笔记
问题:某些研究场景需要完全自定义训练循环# 例如:GAN训练(生成器和判别器交替训练)# Learner的标准训练循环不适用# 解决:回归原始PyTorch# 训练判别器# 训练生成器。
2025-12-19 11:35:40
917
原创 tsai 中 Callback 机制深度学习笔记
print(f"开始训练,共from fastai . callback . core import Callback class SimpleLoggingCallback(Callback) : def before_fit(self) : print(f"开始训练,共 {self . learn . n_epoch } 个epoch") def after_epoch(self) : print(f"Epoch {
2025-12-19 11:05:52
1103
原创 Conv1d(一维卷积)深度学习学习笔记
对于卷积核张量的形状Weight∈RCout×Cin×KWeight∈RCout×Cin×KCoutCout:输出通道数(有多少个过滤器)CinCin:输入通道数(每个过滤器的深度)KKK:卷积核大小(时间维度上的窗口大小)单个输出值的计算对于第jjj个输出通道、第tttyjt∑i0Cin−1∑k0K−1xitk⋅wjikbjyjti0∑Cin−。
2025-12-18 17:43:44
701
原创 tsai 工厂函数深度解析:get_ts_dls 与 build_ts_model
场景:心电图(ECG)信号分类数据:5000 个样本,每个 12 导联,250 时间步目标:5 分类(正常 / 4种异常)
2025-12-18 09:38:35
613
原创 深度学习笔记:Dataset 与 DataLoader
在深度学习中,我们经常面临以下实际挑战:场景 1:图像分类任务假设你正在训练一个猫狗分类器,数据集包含 100,000 张高分辨率图片。如果直接将所有图片加载到内存:场景 2:自然语言处理处理大规模文本数据时:场景 3:实时数据增强在训练时需要:深度学习训练面临三个核心问题:**Dataset(数据集类)**的职责:**DataLoader(数据加载器)**的职责:类比理解:对于训练集 D={(x(i),y(i))}i=1N\mathcal{D} = \{(x^{(i)}, y^{(i)})\}_{i
2025-12-17 19:52:34
702
原创 tsai 完整训练流程实践指南
TSStandardize(), # 标准化TSRandomCrop(seq_len=100), # 随机裁剪到固定长度bs=64,layers=[64, 128, 128] # 每个残差块的通道数5.4.3 LSTMhidden_size=128, # LSTM隐藏层大小n_layers=2, # LSTM层数bidirectional=True, # 是否双向。
2025-12-15 20:22:12
569
原创 深度学习训练器框架全面对比指南
定位: PyTorch的结构化组织框架,“PyTorch界的Keras”核心理念: 将科研代码与工程代码分离,让研究者专注于模型逻辑关键特性:基础示例:图像分类高级特性1. 多GPU训练2. 自定义回调3. 集成W&B进行实验追踪4. 渐进式训练(从小到大)1.3 优缺点分析优点 ✅工程化程度高灵活性与易用性兼顾生产就绪活跃的社区和生态调试友好学习曲线抽象带来的限制版本更新频繁额外依赖定位: 高级深度学习库,“让深度学习变得简单”核心理念: 提供最佳实践的默认设置,让初学者也能快速获
2025-12-15 15:58:00
987
原创 循环神经网络(RNN)深度学习笔记
动机: RNN通过引入"记忆"机制处理序列数据,解决了传统神经网络无法捕捉时序依赖的问题数学基础核心公式:httanhWhhht−1WxhxtbhhttanhWhhht−1Wxhxtbh关键是理解维度变化和数据流动BPTT算法用于训练优化算法梯度裁剪防止梯度爆炸Adam优化器适合RNN截断BPTT处理长序列工程方法PackedSequence高效处理变长序列双向RNN和多层RNN提升能力。
2025-12-15 11:59:05
633
原创 HDF5文件学习笔记
HDF5是处理大规模科学数据和机器学习数据的强大工具。层次化结构:使用Group组织数据,类似文件系统高效I/O:支持分块读写,避免内存溢出压缩支持:节省存储空间元数据:使用attributes存储描述信息跨平台:Python、MATLAB、R等都支持使用压缩节省空间合理设置chunk大小为大数据集启用分块读写添加有意义的attributes使用上下文管理器(with语句)确保文件正确关闭。
2025-12-15 11:23:57
930
原创 HDF5完整文件结构与操作指南
2. 基础数据集类型2.1 数值类型数据集2.1.1 整数类型2.1.2 浮点类型2.1.3 复数类型2.1.4 布尔类型2.2 字符串类型数据集2.2.1 固定长度字符串2.2.2 变长字符串2.3 多维数组2.3.1 一维数组(向量)2.3.2 二维数组(矩阵)2.3.3 三维数组(体数据)2.3.4 四维及更高维数组3. 组结构操作3.1 创建和组织组3.2 遍历组结构3.3 移动、复制和删除组3.4 按条件查找数据集4. 属性系统
2025-12-15 11:20:50
1007
原创 Fluent 后处理对象创建完全指南
场景:创建基于自定义标量的 Iso-Surface步骤// UDF 定义标量:流线函数// ... 计算流线函数 ...在 Fluent 中:Value: 0→ 得到流线。
2025-12-13 16:59:38
1124
原创 注意力评分机制
想象你正在阅读一篇长文章,寻找特定信息。你不会逐字逐句地平等对待每个词,而是:这就是注意力机制的核心思想:选择性地关注最相关的信息。传统Seq2Seq的问题:无论输入多长,都压缩到一个固定维度向量,导致:场景3:图像字幕生成1.3 注意力机制的核心思想类比:查询数据库数学表达:1.4 为什么这样设计有意义?动态上下文表示:每个输出位置可以有不同的上下文表示可解释性:注意力权重可以可视化,理解模型关注什么灵活性:适用于各种序列长度,不受固定向量限制效果显著:在机器翻译、文本生成等任务
2025-12-13 11:55:13
965
原创 Fluent 后处理云图(Contour)完全指南
云图是手段,不是目的:最终目标是获得工程设计参数多云图联合判断:单一云图容易误导后处理与求解设置强相关:网格、模型、边界条件都影响云图定量分析更重要:云图提供定性认识,需用 Report/XY Plot 定量验证。
2025-12-09 10:06:33
1602
原创 Fluent 网格质量全面评估(完整学习笔记)
边界层一定要使用层网格(inflation)VOF 区域网格必须规则复杂几何尽量使用六面体而不是四面体高 skew 单元通常集中在几何小角、狭缝,需要局部加密如果最低质量网格 <0.15,通常不值得继续求解。
2025-12-09 10:05:45
1317
原创 Fluent 计算过程中如何判断收敛与发散
对于离散化后的控制方程AϕbAϕbϕn1ϕnΔϕnϕn1ϕnΔϕn收敛limn→∞∣∣ϕn1−ϕn∣∣0n→∞lim∣∣ϕn1−ϕn∣∣0Rnb−Aϕn→0Rnb−Aϕn→0。
2025-12-09 10:04:25
1140
原创 Fluent 压力入口边界条件(Pressure Inlet)详解
Pressure Inlet 的本质通过指定入口压力,让求解器基于动量守恒和能量守恒自动计算流速和流量,真实反映"压力驱动流动"的物理本质。何时使用✅ 已知压力,未知流量✅ 系统阻力可能变化✅ 多入口流量自动分配✅ 需要处理回流何时避免❌ 需要精确控制流量❌ 系统无明确压力参考❌ 极低速流动(用 Velocity Inlet 更稳定)核心参数:相对 operating pressure 的总压Direction:流动方向(推荐 Normal to Boundary)
2025-12-09 10:03:25
946
原创 Fluent 基础计算公式笔记-问题导向
流体计算基于守恒定律,当离散格式不稳定或物理模型不匹配时,迭代过程会出现振荡。1. 连续性方程(质量守恒)∂ρ∂t+∇⋅(ρv⃗)=0\frac{\partial \rho}{\partial t} + \nabla \cdot (\rho \vec{v}) = 0∂t∂ρ+∇⋅(ρv)=0=02. 动量方程(Navier-Stokes方程)∂(ρv⃗)∂t+∇⋅(ρv⃗v⃗)=−∇p+∇⋅τˉˉ+ρg⃗+F⃗\frac{\partial (\rho \vec{v})}{\partial t} + \
2025-12-05 07:40:56
859
原创 SpaceClaim流体域创建学习笔记
核心思想: 把流体域看作一个普通的几何实体,用SpaceClaim的建模工具直接创建。适用场景外流场分析(汽车、飞机、建筑物)简单规则的内流场核心思想: 当固体模型是一个封闭的容器时,其内部的"空腔"就是流体域。我们需要将这个空腔"实体化"。物理类比想象一个水壶:实体模型 = 壶壁+壶身+壶嘴(外形)流体域 = 如果你能冻住水壶里的水,它的形状抽取过程 = 用"魔法"把壶里的水变成实体适用场景管道系统泵、阀门内部流动热交换器任何"流体在容器内"的情况。
2025-12-03 19:41:27
1337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅