- 博客(53)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书 AI夏令营第五期 DL进阶方向 Task3笔记
是 Datawhale 2024 年 AI 夏令营第五期的学习活动（主要内容源于，选取了的部分内容，在这些基础上进行了一定的原创，补充了不少除这门公开课之外的深度学习相关知识。为了尽可能地降低阅读门槛，笔者对这门公开课的精华内容进行选取并优化，对所涉及的公式都给出详细的推导过程，对较难理解的知识点进行了重点讲解和强化，以方便读者较为轻松地入门。在理论严谨的基础上，本书保留了公开课中大量生动有趣的例子，帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节，包括——
2024-09-02 10:44:03
885
原创 Datawhale X 李宏毅苹果书 AI夏令营第五期 DL进阶方向 Task2笔记
选择合适的优化器和学习率调度方法对深度学习模型的训练至关重要。AdaGrad、RMSProp和Adam各有优缺点，需要根据具体问题选择。学习率退火和预热可以有效提高训练速度和效果。RAdam作为Adam的改进版本，也值得尝试。
2024-08-29 10:20:10
840
原创 Datawhale X 李宏毅苹果书 AI夏令营第五期 DL进阶方向 Task1笔记
深度学习中的优化是一个复杂的过程，需要综合考虑多种因素，例如局部极小值、鞍点、批量大小、动量法、自适应学习率等。选择合适的优化策略，了解这些可以帮助我们更好地训练模型，提高模型的性能和泛化能力。
2024-08-26 15:26:55
811
原创 Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向全过程笔记
文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。接下来，我们简单了解下提示词、lora、ComfyUI和参考图控制这些知识点。AI生图技术的背后是一系列先进的工具和技术，这些工具不断发展，使得生成的图像越来越接近真实世界。SCEPTER：这是一个开源的代码仓库，专注于生成模型的训练、微调和推理，涵盖了图像生成、转换和编辑等多个下游任务。SCEPTER整合了社区驱动的实现方法以及阿里巴巴集团同义实验室的专有方法，为研究人员和从业者提供了全面的工具包。DALL-E。
2024-08-18 12:12:39
1311
1
原创 Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task03笔记
ComfyUI是一个基于深度学习的图像生成软件，它通常被用于创建高质量的图像，特别是与AI艺术生成相关。该软件支持使用各种预训练的模型，用户可以通过简单的拖放操作来构建自己的图像生成流程。ComfyUI的特点包括直观的用户界面和强大的脚本功能，使得用户能够轻松地定制和优化图像生成过程。ComfyUI的核心在于其节点编辑系统，用户可以通过组合不同的节点来构建复杂的图像生成脚本。去噪过程中使用的步骤数。在这里，我们依旧选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。
2024-08-15 11:45:23
1182
原创 Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task02笔记
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。Datawhale官方的Task2链接：Task02
2024-08-11 23:48:13
1280
原创 Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task01笔记
Datawhale AI夏令营第四期魔搭-AIGC方向 task01笔记及个人心得分享。从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习——- 适合想 入门并实践 AIGC文生图、工作流搭建、LoRA微调 的学习者参与学习内容提要：从文生图实现方案逐渐进阶，教程偏重图像工作流、微调、图像优化等思路，最后会简单介绍AIGC应用方向、数字人技术（选学）
2024-08-07 13:39:42
3846
3
原创 多分类情绪识别模型训练及基于ChatGLM4-9B的评论机器人拓展
你的下一个微博罗伯特何必是罗伯特。主要围绕短文本情绪识别的多分类任务展开，通过数据预处理、模型构建和算法对比，实现了对英文文本情绪的有效识别。同时，结合开源对话模型GLM4-9B和streamlit交互界面，构建了一个具有情绪识别功能的评论机器人，为情绪分析技术在实际场景中的应用提供了参考。将训练好的情感分类模型与开源对话模型GLM4-9B相结合，构建了一个简单的情感对话机器人。通过调用GLM4的API，我实现了根据用户情绪标签来引导对话，打造了一个具有情绪识别功能的评论机器人。同时，我使用streamli
2024-06-23 20:48:28
1936
原创 朴素贝叶斯案例
主要包括实现朴素贝叶斯算法、利用实验数据对算法进行检测、完成分类与评估的过程等内容。对朴素贝叶斯算法进行了分析，了解了其基本原理和计算条件概率的方法。通过实验数据计算了条件概率，并进行了预测精度的计算与评估，从而完成了整个分类与评估的过程。贝叶斯分类器的核心思想，即基于贝叶斯定理和特征独立性假设进行分类。通过计算先验概率和条件概率，我能够有效地对样本进行分类，并在实验数据上进行了验证。在预测精度的计算与评估中，我采用了准确率、召回率和F1值等指标，全面评估了算法的性能，确保了实验结果的可信度。
2024-06-23 18:24:09
842
原创 电影数据集关联分析及FP-Growth实现
选择了一个电影数据集进行关联分析。通过挖掘频繁项集和关联规则，实践关联分析在实际数据集中的应用，能够帮助我们发现隐藏在数据背后的有价值信息。FP-Growth算法具有更高的效率和更快的速度，能够处理大规模数据集。
2024-06-22 12:42:02
566
原创 Apriori 处理ALLElectronics事务数据
使用Apriori算法对一个事务集合进行频繁项集的挖掘。通过编程实现，成功找到了频繁项集，并根据支持度和置信度筛选出了关联规则。
2024-06-22 12:37:05
378
原创 图像分割 K-means聚类分割算法
通过对 K-means 聚类分割算法的设计与调用，了解了这些算法的工作原理和应用细节。也应用到图像数据上，进行了面向图像的像素聚类分割。在算法调用中，可以通过多组测试不同参数，如迭代次数、随机采样次数、聚类中心的变化阈值，来寻找对于当前图像类型分割效果最优的参数区间。该算法对于光照变化、噪声敏感，可能需要进行预处理，如直方图均衡化、高斯滤波等。K值（聚类数量）的选择对于结果影响很大，需要根据实际情况进行调整。适用于背景和前景对比度较高的图像，对于背景和前景对比度较低的图像可能效果不佳。
2024-06-21 10:38:40
1485
1
原创 spacetitanic 使用决策树分类
在探索决策树算法在二元分类任务spacetitanic中的效果。首先，对文本数据集进行了必要的数据预处理，包括清洗、标记化，以便算法能够处理数据。接着，利用决策树算法构建了分类模型，并进行了训练和测试。通过调整算法参数，优化模型性能，以达到更好的分类效果。决策树的可解释性和易于理解的特点得到了体现。通过可视化决策树模型，可以清晰地观察到每个特征对于分类决策的贡献，帮助理解模型的工作原理和预测过程。如果可以系统分析各个属性的影响度，再通过属性的特定进行特征化和剪枝，相信可以获得更好的模型准确度和效果。
2024-06-21 10:30:38
318
原创 数据集MNIST手写体识别 pyqt5+Pytorch/TensorFlow
以MNIST数据集为基础，旨在通过TensorFlow和PyTorch两个主流深度学习框架，构建并训练能够识别0到9手写数字的神经网络模型。利用TensorFlow的Keras API，自定义了复杂的卷积神经网络结构。通过调整网络层数、卷积核大小和激活函数等参数，不断优化模型性能，以达到更高的识别准确率。PyTorch在构建和训练神经网络模型方面的应用，并比较了两个框架在性能和易用性上的差异。尝试构建VGGnet16的结构，利用pyqt5实现了交互的手写数字体识别。
2024-06-20 15:59:42
1391
原创 1994年美国人口普查数据 分类预测与集成学习
对1994年美国人口普查数据库进行分类预测与集成学习的实验。通过数据探查、清洗和预处理，构建了用于预测个人年收入是否超过50等任务的分类模型。通过探索数据结构、处理缺失值、转换文本字段为数值类型以及优化模型参数等步骤，成功训练了XGBoost模型，并实现了特定场景下任务的分类预测。
2024-06-20 15:36:10
1856
原创 朝阳医院2018年销售数据 数据分析与可视化
以朝阳医院2018年的销售数据为例，了解医院在该年的销售情况，并从中分析出关键的业务指标。实验过程主要包括数据获取、数据清洗、构建模型、数据可视化以及消费趋势分析。首先，在数据获取阶段，获取了朝阳医院2018年的销售数据，其中包括消费次数、消费金额以及药品销售情况等信息。数据清洗是为了确保数据的准确性和一致性，在这一步骤中，对数据进行了去重、缺失值处理以及异常值处理等操作，以保证后续分析的可靠性。接着，根据实验目标构建了相应的模型，包括计算月均消费次数、月均消费金额以及客单价等业务指标的模型。通过对销售数
2024-06-20 15:01:22
921
原创 TypeError: XGBClassifier.predict() got an unexpected keyword argument ‘ntree_limit‘ 的解决方案记录
异常问题：TypeError: XGBClassifier.predict() got an unexpected keyword argument 'ntree_limit' 的解决方案记录，可能是安装xgboost版本的问题。查看了安装的版本对应的版本说明，发现是安装的新版本2.0.3已将 ntree_limit 数参删除。用iteration_range=(0, result.best_iteration)代替ntree_limit=result.best_iteration，问题解决。
2024-05-13 22:04:03
1181
3
原创 python标准库常用方法集合
前段时间备考蓝桥杯python a组，因为赛中不允许导包，因此对py中的标准库进行了笔记和总结，即不导包即可使用的常用方法。包含了内置函数、math、random、datetime、os、sys、re、queue、collections、itertools库的常用方法，以当工具博客方便查阅。
2024-04-15 16:45:13
1536
1
原创 Boss 岗位信息简单自动化抓取
思路是使用Python的Selenium库模拟浏览器操作，访问招聘网站，输入所search的职位，获取职位信息，并将这些信息保存到一个CSV文件中。2、避免被ban：在爬取过程中，为避免被网站ban，请使用代理IP或设置隐式等待时间。1、修改URL：请将代码中的URL替换为您要爬取的城市对应的URL。前些天接了一个大两届的师兄的小活，做了一下爬boss直聘岗位信息的程序，在这里记录一下。3、异常处理：在爬取过程中，请确保进行异常处理，以防止程序在遇到错误时崩溃。是否为空，如果为空，则返回，不执行任何操作。
2024-01-28 15:16:41
1398
原创 【操作系统原理】页面置换算法模拟
主要是针对操作系统中的页面置换算法进行模拟实现，目的是通过实践，深入理解不同页面置换算法的工作原理和效率。采用了请调的方式进行页面置换，使用python模拟实现了FIFO、LRU、CLOCK和改进型CLOCK四种置换算法
2024-01-27 14:10:21
1647
原创 【操作系统原理】信号量的应用
主要涉及了单缓冲区的生产者和消费者问题以及多缓冲区的生产者和消费者问题，同时进一步探讨了进程模拟单缓冲区的可行性。创建了多个线程，其中包括生产者和消费者，通过使用信号量机制来实现同步与互斥。通过对实验结果的观察与分析，深入理解了信号量机制在处理并发问题中的作用和原理。在单缓冲区的生产者和消费者问题中，通过信号量的加减操作，实现了生产者和消费者之间的同步与互斥。在多缓冲区的生产者和消费者问题中，尝试实现了多个生产者和消费者共享多个缓冲区的情况，通过合理设置信号量的初始值和操作顺序，实现了正确的数据交换与共享。
2024-01-27 12:37:53
874
原创 【操作系统原理】进程的管道通信
关于进程间管道通信的实现。实验内容包括使用Pipe创建管道，父子进程之间的通信和两个子进程之间的通信。使用Pipe创建了管道，实现父子进程之间的通信，以及通过系统调用pipe()建立管道实现父进程与多个子进程之间的通信。
2024-01-26 23:09:11
885
2
原创 【操作系统原理】Linux多线程的创建和控制
关于Linux多线程的创建和控制。实验内容包括创建两个子线程、线程函数中的输出和私有变量的修改、线程的等待和私有数据的注销，以及带参数传递的线程创建方法。
2024-01-26 23:05:34
1973
2
原创 【操作系统原理】进程调度模拟
进行了模拟进程调度的实验，通过Python编码实现了先来先服务调度算法和短进程优先调度算法的模拟程序，首先通过Python编码实现了进程控制块（PCB）的结构体。PCB用于保存和管理进程的相关信息，包括进程ID、进程状态和优先级等字段。模拟了先来先服务（FCFS）调度算法，简单地按照进程到达的顺序进行调度， 另外，也模拟了短进程优先（SJF）调度算法的模拟程序。SJF调度算法根据进程的执行时间来进行调度，优先调度执行时间短的进程。
2024-01-25 12:22:08
2071
原创 【操作系统原理】进程创建与控制
通过熟悉Linux系统编程方法并掌握系统调用的编程能力，加深对命令解释程序基本原理和实现方法的理解。同时，通过使用fork命令创建新进程，探索并发执行的本质，并分析进程争用资源的现象，使用lock函数实现进程互斥。
2024-01-25 12:14:31
2404
原创 【计算机网络】中小型校园网构建与配置
设计和实现一个综合的网络应用系统，使个人用户能够通过内部无线网络访问外部的Web服务器，并允许外部用户访问内网上的Web服务器。该拓扑结构包括了路由器、交换机、内部无线网络设备、Web服务器等组成。通过合理的拓扑设计，实现了内部用户和外部用户之间的连接。在路由器R0上配置静态NAT，并通过外网上的主机访问内网上的Web服务器，以测试其可访问性：通过配置路由器的静态NAT功能，实现了外部用户通过外网主机访问内网Web服务器的功能。这种配置也提高了内部网络的安全性。VLAN划分与配置：通过对交换机的VLAN进
2024-01-24 15:26:21
6477
3
原创 【计算机网络】IP协议及动态路由算法
1、ICMP协议中的工具ping和tracer route测试。2、IP数据报结构与IP数据报分片。3、IP编址。4、DHCP服务分析。5、动态路由算法编程与测试。
2024-01-24 15:02:44
1703
原创 【计算机网络】Socket通信编程与传输协议分析
我使用Python等语言编写了Socket通信程序，通过Socket接口实现了网络通信。通过Socket编程，我可以实现客户端和服务器之间的通信，实现网络应用程序的网络功能。基于TCP协议进行了Socket通信测试，并进行了验证。TCP是面向连接，可靠的数据传输协议，通过三次握手建立连接，并使用确认和重传机制来保证数据的可靠性。我编写了TCP的客户端和服务器程序，通过Socket接口进行连接和数据传输，并确保数据的可靠性和正确性。我对TCP通信过程进行了分析，深入理解了TCP建立连接和数据传输的过程。在
2024-01-23 11:11:32
2392
2
原创 【计算机网络】网络应用通信基本原理
1、分析数据在五层协议栈中的封装及通信过程，理解通信基本原理；2、对典型的网络应用（DNS、HTTP、FTP、Email等）通信进行详细分析；3、针对HTTP的User-agent编写简单的访问响应页面，并熟练使用session及cookie掌握数据传输过程。1、使用wireshark、sniffer等捕捉工具捕捉应用层通信报文。2、对报文在每一层的封装进行分析，特别是DNS、HTTP、FTP与Email协议，对端口复用与分解、应用层服务与协议的通信过程进行分析。
2024-01-23 10:47:33
1375
原创 【大数据处理】MapReduce案例实践
主要是关于大数据处理技术中的MapReduce案例实践。涉及两方面：编写大规模的MapReduce程序和理解单表链接的实际场景，具体针对表的自连接。通过使用MapReduce技术，熟练地编写了适用于大规模数据处理的MapReduce程序。有效地利用了MapReduce框架的并行计算和分布式处理能力，通过对源数据的处理，找出了特定人物的grandparent。以Tom为例，我们通过自连接操作，从源数据中提取出Tom的grandparent，发现他们分别为Marry和Ben。同理，我们可以应用这种方法找出其他人
2024-01-14 18:23:32
939
原创 【大数据处理】 WordCount案例实践
涉及MapReduce的基本原理和WordCount的实现原理。方便理解MapReduce的概念和工作流程，以及如何利用MapReduce进行WordCount操作。WordCount是MapReduce中最经典的示例，用于统计文本中每个单词的出现次数。在WordCount中，Map任务将输入文本切割为单词，并将每个单词映射为键-值对，其中键为单词，值为1。Reduce任务将相同键的值进行累加，得到每个单词的出现次数。
2024-01-14 18:17:18
1303
原创 【大数据处理】消费者行为与购物习惯数据分析及可视化
对顾客行为和购买数据的分析揭示了一些有价值的见解。季节变化、产品类别、性别、尺寸和促销码的使用都会影响消费者的购买决策。数据还表明，蒙大拿州拥有强大的消费市场，服装是各个年龄段的首选产品类别。这些发现可以为营销策略、产品供应和促销提供信息，以更好地瞄准和服务不同的客户群。
2024-01-13 15:48:32
9845
6
原创 【大数据处理】文档分析
表示出上文列出的主要人物在章节中出现的情况，这里我使用了一个二维数组，通过用0、1的方式来表示当前列的章节，五个主要人物是否有出现，并且方便下面亲密度的计算，可以直观的看出人物出现的位置和频率。因为词频统计的结果包含许多除了人物的词组，因此在要进行输出出现频次最多的人物和后面列出小说中的主要人物需要对第一次计算词频的结果进行清洗。以utf-8打开中文小说，这里使用的是上网搜索的网络小说，进行词频的统计，与任务一的统计方法相同。、使用wordcloud模块，把单词的使用频次的信息用词云的方式显示出来。
2024-01-13 15:31:45
674
1
原创 【大数据处理】matplotlib做简单数据可视化
matplotlib做数据可视化，1、从网站中选取2个G20国家，加上中国。获取三个国家的从1960-2022年的GDP值，绘制一幅折线图。2、在一幅图中绘制四幅子图，其中包括，反映国内或者国际上主要手机品牌在某年或者某季度的销量的饼图。反映广东省各市或者佛山市各区的GDP，以及房价平均值的柱状图（横向和纵向各一幅）。绘制某省2023年的高考一分段的散点图。
2024-01-13 15:18:53
1090
1
原创 【软件测试】案例系统缺陷报告
1、采用交叉测试的方式，在案例系统使用同组同学设计的测试用例进行测试2、对于测试用例存在问题的地方进行修改，并填入实际结果3、若实际结果不一致，填写Bug报告
2023-12-21 11:41:48
1936
原创 【软件测试】测试用例设计报告
1、 每组选择一个系统设计测试用例，一组完成一个系统的测试用例设计。2、 每位同学至少完成2个流程（如：注册登录，后台新增商品前台查看商品，后台删除商品前台查看商品，后台删除商品后台删除商品类型前台查看商品类型，新增操作员登录系统，新增部门新增专业新增班级新增学生，新增专业&新增课程新增专业课程，删除学生删除班级删除专业删除部门等），同组同学不允许选择相同流程。3、 分别使用场景设计法、等价类划分法、边界值分析法为对应功能流程设计测试用例。
2023-12-21 11:35:40
1101
原创 【软件测试】案例系统——需求评审报告
实验原理：1、 一般项目需求规格说明书撰写标准2、 一般项目需求评审步骤实验内容：1、 阅读和分析需求规格说明书中描述的所有需求项，列出测试需求2、 对照需求规格说明书检查列表对案例系统进行测试3、 完成需求评审报告
2023-12-21 11:19:15
1398
原创 【Java程序设计】宠物商店管理系统
以Pet为父类，定义子类Cat、Dog，使用super关键字访问父类Pet成员；（2）利用switch进行选择判断。2、创建子类Cat、Dog。3、创建PetStore类。（7）盈利统计功能实现。
2023-12-21 10:57:06
1130
2
原创 【Java程序设计】学生成绩管理系统
(一) 问题描述要求采用java类与对象的基本知识，实现简单的学生成绩管理系统。(二) 实验要求1、实现定义学生成绩记录，记录包括字段有：序号、学生姓名、学号、课程名称、成绩。2、实现学生成绩管理系统的菜单管理功能，允许查看、添加、修改、删除、统计、查找和排序等操作；3、实现查看学生成绩单功能，能显示所有学生成绩记录；4、实现添加学生成绩记录功能，输入某位学生某门课的成绩，能保存到成绩表里面；5、实现修改学生成绩记录功能，根据学生学号修改课程成绩；6、实现删除学生成绩记录功能，根据学生学号删
2023-12-21 10:47:07
4809
6
数据分析与可视化-朝阳医院2018销售数据-ipynb+csv
2024-06-20
页面置换算法模拟，FIFO、LRU、简单复杂CLOCK置换算法的python代码
2024-01-27
Python模拟先来先服务（FCFS）短进程优先（SJF）调度算法代码
2024-01-25
IP协议及动态路由算法代码包及思科模拟器资料说明
2024-01-24
Socket通信编程传输协议分析的python代码及wireshark抓取文件包
2024-01-23
wireshark对于网络抓包与协议分析的抓取文件包
2024-01-23
【JavaScript】内建对象的使用代码
2023-12-21
【JavaScript】某系统模块的设计与实现文章的代码
2023-12-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人