- 博客(96)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【LLM开发】Unigram算法
参考书籍：Unigram 算法是一种基于概率的子词分词方法，与BPE算法、WordPiece算法不同，其核心思想是通过逐步删减初始大词汇表优化分词结果。
2025-04-28 16:42:29
852
原创 【LLM模型开发】WordPiece算法
模型首先需要生成一个小的初始化的基础词表；首先将所有字符、词添加到词库中，并需要预先设定词库的规模。首先，对语料进行预分词（按空格切分、按语系切分等等）；各出现一次，所以得分最高；因此作为第一个被合并的字符。但是WordPiece算法计算的是实质是条件概率。这里得分最高的字符对事。，因此合并这两个字符；在词汇表中出现一次，
2025-04-28 16:40:36
578
原创 【大语言模型开发】BPE算法（Byte-Pair）
BPE算法是一种贪婪算法：为了以最有效的方式表示语料库，BPE 在每次迭代时都会通过查看其频率来检查每个可能的合并选项，并且每次合并那些出现频率最高的合并对。如果我们 token化 不在训练语料库中的字符，则该字符将转换为未知 tokens，这就是为什么许多 NLP 模型在分析带有表情符号的内容的结果非常糟糕的原因之一。尽管每个字符的字节数可能不同，但是一个字节都是8bit，这样，基本词汇表的大小就很小（（恰好没有一个词是重复的，如果语料库中存在重复词汇，也只会在单词集合中出现一次）
2025-04-28 16:35:05
628
原创 【大模型】分词粒度
有一个房子，我们可以将房子拆分为厨房、卧室、客厅、卫生间…可以继续拆分为砖、水泥，玻璃…，这又是一种更细的粒度；砖、水泥、玻璃都可以被继续分解为沙子、泥等；这还是一种粒度，因此，房子到底是由什么组成的，取决于从哪种粒度上进行分析。分词粒度是一种要从哪种角度进行分词的；可以包括字符级（character level）、单词级（word level）、子词级（sub-word level）、字节级（byte level）分词按照词的子词进行分词，类似于利用词根词缀来进行分词。如果按照句子中的空格进行分词，
2025-03-28 16:17:09
230
原创 【毕业论文编写指南】公式右对齐
毕业论文以及小论文常常会要求公式右对齐。表达式需另行起排，原则上应居中，用阿拉伯数字分章编号。序号加圆括号，右顶格排。本文讲解几种常见的论文公式右对齐的设置方法。
2025-03-10 10:13:48
939
原创 【毕业论文编写指南】图表题注设置
对于毕业论文中的图表题注，学校可能有这样的要求；`图x.x xxxxxx`；其中`x.x`表示章节号.章节中第x张图片。这如何设置呢？
2025-03-07 15:12:22
311
原创 【强化学习】乐观初始值（Optimistic Initialization）
乐观初始值（Optimistic Initialization） 是强化学习中一种常用的探索策略，用于引导智能体优先探索那些尚未尝试过的动作。的初始值设为一个比其真实值更大的值，从而鼓励智能体尝试每个动作至少一次，以发现潜在的高回报动作。适用性受限：在非平稳环境（奖励分布随时间变化）中，固定的乐观初始值可能失去作用，无法适应环境变化。2.保证探索：未尝试的动作因其高初始值而具有吸引力，智能体会主动尝试这些动作，避免陷入局部最优。1.简单有效：无需复杂的随机性控制，仅通过设置初始值即可实现探索。
2025-02-07 12:21:23
762
原创 【逻辑学导论】2.1 论证的重塑
3.种族多元的政府常常比单一种族的政府拥有更低的社会支持，当人们因为种族而被划分的时候，他们就不会觉得是和其他人紧密联系在一起的，也就不太会相信互助程序。这样，错误的总是对方。7.太空中所包含的原子是不可数的，促使它们散向各处的力如同驱使它们来到这个世界的力一样也是不可数的。3.得州在没有辩护的情况下，干涉了这些申诉人的私生活，并且通过将他们受到保护的私人性行为判定为违法而贬低这些申诉人。2.申诉人的行为在上述自由的领域之中，因此根据宪法，他们有绝对的权利行使上述行为而不受到政府的干涉。
2025-02-07 10:00:57
934
原创 【逻辑学导论】1.6 有效性和真实性
这个例外就是使得有效论证有效的组合：一个有效论证不可能前提都为真而结论为假，因为它的前提与结论是有逻辑必然性关联的。一个论证是有效的，当且仅当它不可能有真前提和假结论，当且仅当其结论是从其前提逻辑必然地推导出来的。论证的有效性和无效性关注的是前提与结论的必然性，也就是说前提与结论必然联系则是有效论证。如我们所知，这个论证的结论是真的；从例Ⅴ和例Ⅵ可以看出，很显然我们不能从一个论证有假前提和真结论这个事实分辨出这个论证究竟是有效的还是无效的。但是，可以明确的是，一个有效的论证不可能前提都为真而结论为假。
2025-02-06 23:22:09
491
原创 【逻辑学导论】1.5 演绎论证和归纳论证
演绎论证则是确定的。因此，对于归纳论证而言，新的发现可能会最终否定结论，因此永远不能说明归纳论证的结论是完全正确的。归纳论证仅为它的结论提供一定的支持，前提授予结论的或然性越高，结论的价值越大。当一个论证断言其前提对结论的真提供了无可辩驳的根据时，这个断言可能是正确的也可能是不正确的。演绎论证中，其断言前提为结论的真提供了决定性的支持，即断言如果其前提为真，那么结论一定也是真的。一个有效的演绎论证的结论是从其前提必然地推出的，而这种有效性不是一个程度问题，也不以任何方式依赖于任何其他可能的情况。
2025-02-06 23:15:15
445
原创 【机器学习理论】朴素贝叶斯网络
朴素贝叶斯做出了一个假设”属性条件独立假设“：对所有已知标签的样本，假设每个属性独立地对标签结果产生影响。（这是一个很强的条件）先验概率：对某个事件发生的概率的估计。可以是基于历史数据的估计，可以由专家知识得出等等。一般是单独事件概率。后验概率：指某件事已经发生，计算事情发生是由某个因素引起的概率。一般是一个条件概率。条件概率：条件事件发生后，另一个事件发生的概率。贝叶斯公式基于先验概率，计算后验概率的方法；对于连续属性可考虑概率密度函数，假定。的样本组成的集合，则条件概率。对于离散属性而言，令。
2025-02-02 00:05:40
1623
原创 【机器学习理论】生成模型和判别模型
生成模型和判别模型是机器学习中两种不同的建模方式。生成模型关注的是联合概率分布PXY，即同时考虑数据X和标签Y的关系；判别模型则直接学习条件概率PY∣X或决策边界。
2025-02-01 21:18:24
837
原创 【逻辑学导论】1.4论证与说明
论证的前提：）1戴维·伯恩斯坦(David Bernstein)在2001年的《唯一补救之地：非裔美国人、劳动法与从重建到新政的法院》之中将劳动法置于美国黑人当代困境的中心。论证的前提：1）社会被市场浸透得越来越严重，经济上的成就比任何其他的东西都得到更多的重视。用来说明的是如下内容：当人类居住在与赤道有不同的距离进而需要得到不同程度的抵御太阳光线的保护措施之时，不同的肤色进化出来了。说明的内容是：圣诞节的时间确定及其许多庆祝仪式有着基督徒庆祝基督生日之外的其他根源，也可能先于基督徒对基督生日的庆祝。
2025-01-30 16:56:13
733
原创 【逻辑学导论第15版】A. 推理
最重要的原因在于目前出现了很多在判刑后通过调查免除死刑犯罪行的事件，其中包括在最近18个月里通过长期审判调查而获释的十位囚徒，他们并没有犯下被控的谋杀或强奸罪行。7.当诺亚·韦伯斯特提出《美国英语词典》的计划时，19世纪早期针对他的批评家做出了如下论证：“对于美国来说，任何新词不是愚蠢的就是外来的，因此没有所谓美国英语的东西，有的只是糟糕的英语。6.好的感觉能力是这个世界上分布最为平均的东西，因为所有的人都认为他们自己拥有的足够多，以至于即便是在其他事情上最不容易被满足的人也不会要求更多的感觉能力。
2025-01-29 22:44:11
923
2
原创 【conda】Ubuntu 24.04 安装CUDA 12.04
请在Download栏下寻找具体的下载地址（该包实际上是由Debian，Ubuntu 24.04可以正常使用，请下载和自己电脑架构一样的包 amd 或者 arm）。下载好以后（理论上可能下载到本地Download目录下）；（别担心，Ubuntu 24.04能安装CUDA 12.4）该显卡驱动最高支持12.4的CUDA（不想升级显卡驱动）安装了Nvidia驱动，但是550版本的。，目前网上搜到的信息好像不是很适配。这里提供一个新的方案来安装。简单地说，就是安装不上。
2024-12-26 11:23:04
3379
3
原创 【python代码编写】命令行参数解析
则可以通过这种方式传递并运行参数。假设上述python代码保存为。模块来解析命令行参数。在python中使用。
2024-12-23 19:22:49
222
原创 博客摘录「 强化学习 1 —— 一文读懂马尔科夫决策过程（MDP）」2024年7月19日
决强化学习问题意味着要寻找一个最优的策略让个体在与环境交互过程中获得始终比其它策略都要多的收获，这个最优策略可以用 π ∗ \pi_*π ∗ 表示。一旦找到这个最优策略π ∗ \pi_*π ∗ ，那么就解决了这个强化学习问题。一般来说，比较难去找到一个最优策略，但是可以通过比较若干不同策略的优劣来确定一个较好的策略，也就是局部最优解。
2024-07-19 15:31:49
199
原创 【python】通行网格地图四叉树化 (leeccode 427)
想将由0和1组成的网格地图绘制为四叉树地图，0表示可通行网格，1表示不可通行网格。受到Leecode 427题的启发，
2024-06-13 21:47:40
479
3
原创 【ROS2】ModuleNotFoundError: No module named ‘learning_interface.learning_interface_s__rosidl_typesupp
不知道怎么解决这个问题。
2024-06-05 15:43:55
605
5
原创 【Python】setup.py build_ext --inplace解释
setup.py build_ext --inplace是用于构建和编译Python扩展模块的命令。它的主要用途是在开发期间将编译生成的扩展模块放置在源码目录中，而不是默认的构建目录。并生成一个共享库文件（例如在Linux上是。可以包含如下定义扩展模块的代码（文件，在Windows上是。文件），并将其放置在。
2024-06-03 09:17:09
2810
原创 【Python】setup.py文件中Extension函数详解
Extension是setuptools模块中的一个函数，用于定义需要编译的C/C++扩展模块。它的参数用于指定扩展模块的名称、源文件及其他相关配置。以下是。
2024-06-03 09:05:58
1865
1
原创 【论文导读】Grid Graph Reduction for Efficient Shortest Pathfinding（2023 Access）
并且自己用了两张图做了一下实验，采用的地图来自于(Benchmarks for Grid-Based Pathfinding)[https://movingai.com/benchmarks/grids.html]，分别是random-512-20-6、maze-512-4-4和Shanghai-1-1024地图。Dead-end模式（死胡同模式）：网格地图中存在一些可通行网格，它们通常被障碍物网格包围，当这些网格不是起始网格或目标网格时，它们将不是构成路径一部分的网格，因此没有必要进行计算和搜索。
2024-05-30 23:56:22
1381
3
原创 【C++】vector 释放，二维vector开辟 使用
clear()清除了vector中的内容但是并没有释放内存，即容器的capacity不为0。首先对于数据量较小的vector容器，没有太多必要自己进行主动释放，小容量vector容器对程序效率没有太多影响。这个过程并没有真正的分配空间，也就是说这个vector容器的capacity为0，相当于只是声明了这个变量而已，另外，有时候可能存在内存虽然在程序释放了，但是这段空间实际上还没有归还给系统的情况，故可以在释放后跟随一句。对于大容量的vector，可以进行积极主动的释放，可以提升内存等效率。
2024-04-07 21:32:40
1573
原创 【C++ RapidJson】使用RapidJson写入文件
最初，我希望能够使用RapidJson 向文件中写入一个三级json。其二级json是由for循环计算生成的。但是写来写去，发现有很多乱码，好像是字符串空间在写入流之前就销毁的原因？（不确定）于是，使用AI生成了以下例子。
2024-03-28 09:22:37
1420
原创 C++ 内存泄漏检测工具——Valgrind（Linux系统）
前六种是比较常见的问题，内存泄漏主要是有（4）（5）引起的，由于程序中申请了空间，但是没有在程序结束或是在函数结束时正确的释放，导致这段空间被无法在后面的程序中继续使用。对于数据量较大的程序，这是很危险的，由于内存占用问题，尽管函数或程序可能执行完毕，但是未被释放，但是内存仍被占用，这些空间无法后续使用或被其他程序使用，可能会导致计算机运行变慢，也可能导致后续程序无法正常运行。–log-file=< file > 将输出的信息写入到filename.PID的文件里，PID是运行程序的进行ID。
2024-03-14 21:12:02
2265
翻译 【原文翻译】Near Optimal Hierarchical Path-Finding
商业计算机游戏中的路径搜索问题必须实时解决，而且往往受到内存和 CPU 资源的限制。使用 A* 等搜索算法确定路径所需的计算量会随着搜索空间的增大而增加。因此，在大型地图上寻路会导致严重的性能瓶颈。本文介绍了 HPA* （Hierarchical Path-Finding A*），一种在网格地图上降低寻路问题复杂性的分层方法。该技术将地图抽象为相互关联的局部群组。在局部层面，预先计算并缓存穿越每个簇的最佳距离。在全局层面上，簇的穿越只需一大步。层次结构可以扩展到两级以上。
2024-03-01 14:03:16
452
1
Theta*算法MATLAB实现
2023-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人