- 博客(607)
- 收藏
- 关注
RSS订阅原创 教你使用Python批量读写excel文件
与其花费好几天去做这些繁琐无意义的操作，不如学学python如何批量读写excel文件，几分钟就能搞定一整天的活！xlwt能够对excel文件进行写入和修改，你可以设定条件检索数据并修改，很方便的重复大量工作。xlrd，作为python第三方库，可以从excel电子表格中检索信息。当面对成百上千个excel文件，需要重复读写时，你会不会很头大呢？通俗点讲，你可以用python读取excel文件里的任何数据。对excel进行写入，需要用到python的另一个第三方库-
2025-05-01 11:22:18
305
原创 一文搞懂Python迭代器和生成器
从形式上来看，生成器表达式和列表推导式很像，仅仅是将列表推导式中的[]替换为()，但是两者差别挺大，生成器表达式可以说组合了迭代功能和列表解析功能。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。在Python中，这种一边循环一边计算的机制，称为生成器（Generator）。所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？但是，受到内存限制，列表容量肯定是有限的。
2025-05-01 11:21:38
532
原创 小白如何入门Python爬虫
网络爬虫，其实叫作网络数据采集更容易理解。就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。归纳为四大步：根据url获取HTML数据解析HTML，获取目标信息存储数据重复第一步这会涉及到数据库、网络服务器、HTTP协议、HTML、数据科学、网络安全、图像处理等非常多的内容。但对于初学者而言，并不需要掌握这么多。
2025-05-01 11:20:54
753
原创 Python + AI轻松开发GUI小应用，太酷啦！
用户在输入框可以先输入一个成语，AI会成语接龙生成另一个成语，以此往复，所有成语都需要记录在展示框中，并打上用户、AI的标签。实现的功能是，用户直接输入一个成语，该应用会根据接龙规则，给出新的成语，然后根据你的输入再接龙，所有成语内容会被记录下来。实现的功能是，用户只需要输入一段话，比如“请生成一个关于勇敢的小兔子的故事”，AI就会根据需求生成一段几百字的儿童故事。如下图展示，我输入要求 “请生成一个关于勇敢的小兔子的故事”，该应用根据要求生成了一个小兔子的故事，速度挺快的。
2025-04-28 13:48:58
182
原创 亮数据，零代码快速采集电商数据，非常方便~
最近用到一个非常简单的高级爬虫工具，亮数据的Scraper APIs，你可以理解成一种爬虫接口，它帮你绕开了IP限制、验证码、加密等问题，无需编写任何的反爬机制处理、动态网页处理代码，后续也无需任何维护，就可以“一键”获取Tiktok、Amazon、Linkedin、Github、Instagram等全球各大主流网站数据。1、支持大批量的自动提交url网址，不像刚刚那样的手动复制进去 2、支持对抓取的数据进行处理、清洗、存储操作，配合Pandas、Numpy库，非常方便。
2025-04-28 13:48:17
2295
原创 Roo Code，VsCode AI编程又一神器来了～
用了Roo Code一段时间，我的感受是这是一个能辅助快速开发的代码生成能手，Roo Code系统对prompt流程做了优化，能更精准和高质量的输出代码，对于编程小白和高手都很适用。其实当前的AI编程只是一个技能增强的角色，可以帮你高效写流水线代码，但不能代替程序员写出工程项目，凡是需要设计、优化、组装的事情还是得人来做，目前的AI做不到。我只是给了句简单的提示，但游戏的UI效果还是很不错的，如果再润色下，是能媲美一些商业小游戏的。配置好模型后，你能根据需求设置R1模型相关的参数，以及系统权限配置。
2025-04-27 21:07:50
287
原创 Draw.io，我常用的一款开源流程图软件，强烈推荐
前面说过，Draw.io是一款免费的流程图绘制工具，你可以在本地或者云端创建和分享各种流程图。Draw.io不受平台限制，支持直接在网页浏览器中使用Draw.io，也可以下载客户端，或者使用Vscode、Jupyter Lab插件，你觉得哪种方便就用哪种，可以说非常的宠爱用户了。它提供了一个类似画板的直观的拖放界面，你可以通过选择预设的形状和连接线来快速构建流程图，因此具有很大的可定制空间。
2025-04-27 21:06:12
1528
原创 超强！DeepSeek+HTML制作数据看板，老板看了都点赞
DeepSeek以极强的推理能力，支持生成各种代码，比如Python、SQL、Matlab、JS、HTML等，你可以拿这些代码放到编译器里，就能直接跑出结果，比如机器学习算法、exe应用、可视化图表、web应用。最近发现了一个好玩的场景，使用DeepSeek生成HTML来制作可视化数据看板。数据看板是职场中常见的数据展现形式，一般用Excel、Tableau、PowerBI来做，但现在DeepSeek也能帮你完成简单的看板搭建工作。
2025-04-27 21:05:22
362
原创 非常好用的3个地图可视化工具，强烈推荐~
地图可视化是数据分析中常用的场景，比如做轨迹分析、区域分布分析、地理空间分析等，都会用到地图可视化，通过地图的可视化表达能非常清晰的展现数据在地理空间上的分布。这里推荐3个我常用的地图可视化分析工具，可视化分析和渲染能力都非常的强大。其中有依赖Python的第三方可视化库-Basemap，还有基于web的可视化工具-Kepler.gl，也有独立的BI可视化软件-Tableau。
2025-04-27 21:03:45
405
原创 Orange，可以拖拉拽的Python数据挖掘软件，强烈推荐~
Python是数据挖掘的核心编程语言，但一般门槛较高，你得掌握pandas、numpy、sklearn、keras等复杂的数据处理和机器学习框架，才能写一些数据挖掘算法，因此让不少人望而却步。总的来说，Orange比较适合编程新手，或者想节省时间的分析人员，它适用于数据挖掘、数据分析、统计分析、机器学习等多个领域，如果使用熟练，一点不亚于Python编程。这个数据工具有丰富的组件可以使用，像数据IO、数据转换、数据可视化、机器学习算法、模型评估等，不需要额外写代码，拿来即用，参数也是可视化调整。
2025-04-27 21:02:53
341
原创 Orange，可以拖拉拽的Python数据挖掘软件，强烈推荐~
Python是数据挖掘的核心编程语言，但一般门槛较高，你得掌握pandas、numpy、sklearn、keras等复杂的数据处理和机器学习框架，才能写一些数据挖掘算法，因此让不少人望而却步。总的来说，Orange比较适合编程新手，或者想节省时间的分析人员，它适用于数据挖掘、数据分析、统计分析、机器学习等多个领域，如果使用熟练，一点不亚于Python编程。这个数据工具有丰富的组件可以使用，像数据IO、数据转换、数据可视化、机器学习算法、模型评估等，不需要额外写代码，拿来即用，参数也是可视化调整。
2025-04-24 18:04:50
306
原创 pandas实现sql的case when查询，原来这么简单！
sql中的case when的功能是实现单列或者多列的条件统计，其实Pandas也可以实现的，比如万能的apply方法，就是写起来复杂一些，没有sql case when那么直观。举个例子，一张考试成绩的表scores，有语文和数学的得分，现在给考生综合打分，两门都在90以上打A，都在80-90之间打B，其他则打C。逻辑也很简单，判断函数实现多列的判断条件，apply将该判断函数应用到数据集上，就能实现类似sql case when的功能。这里如果用sql来查询的话，使用case when就很简单明了。
2025-04-24 18:03:34
288
原创 为什么 requests 不是 python 标准库？
1、requests作为第三方库能有更好的灵活性，大家都愿意贡献代码。加入标准库会限制其发展，或者说会被搞死。为什么 requests 不是 python 标准库？之前还严肃地征求过这个意见，感兴趣的可以看看。2、标准库里已经有功能类似的。requests开发者。
2025-04-23 18:20:23
181
原创 超实用！轻松控制Python及依赖库版本
来源：Python大数据分析大家好我是费老师，我们在日常管理Python项目时，非常重要的一点，是要对项目本身依赖的Python版本以及相关依赖库版本进行妥善管理，从而确保项目可以稳定持续的进行维护或迁移。通常我们会基于pippipreqscondauv等环境管理工具所导出的配置文件，对项目的相关依赖版本进行控制，但这些方式都只是辅助性质，并不会在Python项目代码运行时严格检查依赖库版本，这就带来了很多犯错的可能性。今天的文章中，我就将为大家介绍如何在自己的Python。
2025-04-22 09:38:57
291
1
原创 7个最常用的数据分析方法和技巧，收藏！
数据分析是通过分析原始数据提取有意义见解的过程，这一过程包括使用分析和统计工具对数据进行检查、清洗、转换和建模，最终提炼出有价值的信息。这些信息用于确定业务决策——比如何时推出营销活动最合适？哪些客户群体最可能购买新产品？但究竟如何将原始数据转化为有用信息？这才是最难的。下面推荐真实业务场景中最常使用的7种分析模型和方法，非常有帮助。
2025-04-21 20:31:54
704
原创 爬虫神器-亮数据，可以轻松解锁各种网站~
亮数据平台提供了强大的数据采集工具，比如Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。网络爬虫是一种常见的数据采集技术，与屏幕抓取不同，屏幕抓取只复制屏幕上显示的像素，网络爬虫提取的是底层的HTML代码，以及存储在数据库中的数据。你可以使用Python编写爬虫代码实现数据采集，也可以使用自动化爬虫工具，这些工具对爬虫代码进行了封装，你只需要配置下参数，就可以自动进行爬虫。
2025-04-21 20:29:03
875
原创 推荐我常用的几个爬虫插件&工具，值得收藏~
无论是需要简单的数据抓取，还是复杂的数据挖掘和分析，市场上的爬虫工具都能提供相应的解决方案。同时，使用爬虫软件时，也应遵守相应的法律法规，尊重数据的版权和隐私。亮数据是一款强大的数据采集工具，以其全球代理IP网络和强大数据采集技术而闻名。它能够轻松采集各种网页数据，包括产品信息、价格、评论和社交媒体数据等。爬虫，又称为网络爬虫或网页爬虫，是一种自动浏览互联网的程序，它按照一定的算法顺序访问网页，并从中提取有用信息。八爪鱼是一款面向非技术用户的桌面端爬虫软件，以其可视化操作和强大的模板库而受到青睐。
2025-04-21 20:27:10
2163
原创 BI数据可视化工具应该如何选择？
当前业务可视化分析早已经不是过去Excel+VBA的模式了，各种BI工具眼花缭乱，不光能绘制绘制图表和制作可视化看板，还能实现自助式分析、SQL查询、机器学习建模、网页搭建、AI对话等各种需求，非常的强大，比如像大家熟知的。你可以通过非常直观的操作界面，无需编写代码，简单的拖拉拽即可进行数据的清洗、转换和分析，以及可视化看板的搭建，你可以将其嵌入到web、app等应用中，非常便捷。相比较集成好的软件，Superset是有些使用门槛的，对新手没那么友好，不过它免费呀，免费真香。
2025-04-20 12:31:19
1049
原创 为什么爬虫非要用python？用C语言、C++、C#或者java不行吗？
当然python的第三方库生态也为Python爬虫提供了诸多便利，比如requests、bs4、scrapy，这些库将爬虫技术进行了高级封装，提供了便捷的api接口，原来需要几十行代码解决的问题，现在只需要一行就可以搞定。requests 库提供了丰富的功能和灵活性，支持多种请求类型（如 GET、POST、PUT、DELETE 等），可以发送带有参数、头信息、文件等的请求，并且能够处理复杂的响应内容（如 JSON、XML 等）。它提供了丰富的API，可以轻松地读取、解析、创建和修改XML和HTML文档。
2025-04-20 12:30:22
713
原创 pandas实现sql的case when查询，原来这么简单！
sql中的case when的功能是实现单列或者多列的条件统计，其实Pandas也可以实现的，比如万能的apply方法，就是写起来复杂一些，没有sql case when那么直观。举个例子，一张考试成绩的表scores，有语文和数学的得分，现在给考生综合打分，两门都在90以上打A，都在80-90之间打B，其他则打C。其实逻辑也很简单，判断函数实现多列的判断条件，apply将该判断函数应用到数据集上，就能实现类似sql case when的功能。
2025-04-19 23:18:05
139
原创 Pandas取代Excel？
有人在知乎上提问：为什么大公司不用pandas取代excel？而且列出了几个理由：Pandas功能比Excel强大，运行速度更快，Excel除了简单和可视化界面外，没有其他更多的优势。有个可怕的现实是，对比Excel，光是运行成功print(‘hello world’)已经劝退95%的人了。Excel的核心优势就是操作方便，哪个Top级产品不是把用户路径优化到极致的，某种意义上来说Python也是编程语言里的Excel、WeChat。何况Pandas和Excel不存在竞争关系，反而是合作关系。
2025-04-19 23:13:49
4315
8
原创 pandas 在使用时语法感觉很乱，有什么学习的技巧吗？
Pandas语法复杂不是设计层面有问题，主要是因为它要做的事太多了，你可以把Pandas看作代码界的Excel，都是处理行列数据的工具，Excel的按钮组件不计其数，比如格式、转化、插入、透视等，Pandas其实也需要处理同样多的事情，Excel的每一个按钮都对应Pandas的一个函数或方法，所以复杂度可见一斑。和Series，一个是二维数组，一个是一维数组，DataFame类似于Excel表格，有行和列，这是用的最多的数据形式。，导致使用起来有杂乱的感觉，特别是对于初学者，这种感觉尤为强烈。
2025-04-18 11:48:09
877
原创 BI数据可视化工具应该如何选择？
当前业务可视化分析早已经不是过去Excel+VBA的模式了，各种BI工具眼花缭乱，不光能绘制绘制图表和制作可视化看板，还能实现自助式分析、SQL查询、机器学习建模、网页搭建、AI对话等各种需求，非常的强大，比如像大家熟知的。你可以通过非常直观的操作界面，无需编写代码，简单的拖拉拽即可进行数据的清洗、转换和分析，以及可视化看板的搭建，你可以将其嵌入到web、app等应用中，非常便捷。相比较集成好的软件，Superset是有些使用门槛的，对新手没那么友好，不过它免费呀，免费真香。
2025-04-18 11:47:36
929
原创 我常用的数据采集接口，一键轻松爬取电商数据~
最近用到一个非常简单的高级爬虫工具，亮数据的Scraper APIs，你可以理解成一种爬虫接口，它帮你绕开了IP限制、验证码、加密等问题，无需编写任何的反爬机制处理、动态网页处理代码，后续也无需任何维护，就可以“一键”获取Tiktok、Amazon、Linkedin、Github、Instagram等全球各大主流网站数据。1、在云上向Tiktok发出http数据请求 2、模拟登陆、配置IP代理、动态访问、识别验证码、破解加密数据等 3、解析获取的HTML，提取重要的字段，输出为json格式。
2025-04-17 16:16:36
2167
原创 python与mysql怎么完成大量的数据交互？
有个小插曲，MySQL和MariaDB相当于姐姐妹妹的关系，两者由同一个人（Widenius）创建的。MySQL被Oracle收购后，Widenius先生觉得不爽，于是搞了个MariaDB，可以完全替代MySQL。所以本文讨论的是利用PyMySQL连接MySQL数据库，进行增删改查操作，以及存储大批量数据。1、通过SQL的insert方法一条一条导入，适合数据量小的CSV文件，这里不做赘述。，安装过程很简单，一路Next Step，不过要记好密码。方法导入，速度快，适合大数据文件，也是本文的重点。
2025-04-17 16:14:29
660
原创 Python 为什么要保留显式的 self ？
类比人类，人类就是一个Python类，每个个体的人代表着实例（对象），而每个人的身份证代表的Python中self，每个人可以凭借身份证去上大学、坐高铁、住酒店...（方法），而Python中的实例（对象）也可以凭着self去调用类的方法。Python的类不能直接使用，只有通过创建实例（对象）才能发挥它的功能，每个实例（对象）都是独一无二的，它可以调用类的方法、属性。类实例化后，self即代表着实例（对象）本身，想要通俗的理解self有个最简单的方法，就是你把self当做。再来个实例student_b。
2025-04-16 23:34:27
819
原创 Python需要每写一个项目就创建一个虚拟环境嘛？
虚拟环境的作用是给Python项目单独设置一个封闭空间，这个封闭空间包含了专属的Python解释器，pip工具，以及site-packages 目录，用于安装各种依赖，这样就不会影响全局环境和其他项目，也更更好地对本项目进行依赖版本的管理。在进行Python开发项目时，经常会用到各种依赖库，为了保持每个代码项目的独立性，以及避免与其他项目库相互干扰，导致版本冲突，这时候单独创建一个。virtualenv是第三方库，所以需要先安装virtualenv，可以使用pip来安装。
2025-04-14 16:32:12
321
原创 学会这7个爬虫软件，三分钟搞定数据采集
它提供了自动网站解锁功能，能够应对动态加载、验证码、IP限制等各种反爬虫机制，而且支持如Puppeteer、Playwright和Selenium等多种爬虫工具，在亮数据内置的无界面浏览器上进行数据的采集，成功率非常高。不管是文本、图片、视频亦或表格，八爪鱼都能抓，而且它还提供了非常丰富的采集模板，比如电商、新闻、短视频等主流平台全包含，它已经帮你配置好了流程，一键可以实现爬虫。它的优势是基于Python生态，灵活性高，支持分布式爬虫和异步请求，而且有多种扩展，能满足复杂采集需求，适合做企业级爬虫部署。
2025-04-14 16:30:53
2336
原创 我常用的一款免费爬虫工具，非常强大，值得推荐
Instant Data Scraper 是一款非常简单易用的网页数据爬虫插件，在Chrome上安装使用，你不需要任何代码知识，只需要点几下鼠标，就可以把你想要的数据下载到表格里面。不管是文本、图片、视频还是表格，八爪鱼都能采集，并且它提供了非常丰富的采集模板，比如购物、新闻、短视频等主流平台都有，八爪鱼已经配置好了采集的流程，一键可以实现数据爬虫。如果你懒得配置爬虫流程，可以使用八爪鱼的爬虫任务模板，数据采集流程已经全部设置好了，你只需要一键启动，就可以抓取数据。
2025-04-14 16:29:50
1715
原创 virtualenv，非常强大的Python虚拟环境工具，强烈推荐~
通过安装superset可以看到virtualenv管理虚拟环境非常的简单、快捷，大家可以试试，养成管理虚拟环境的好习惯。
2025-04-13 13:21:10
386
原创 使用Python爬虫的2大原因和6大常用库
爬虫其实就是请求http、解析网页、存储数据的过程，并非高深的技术，但凡是编程语言都能做，连Excel VBA都可以实现爬虫，但Python爬虫的使用频率最高、场景最广。这可不仅仅是因为Python有众多爬虫和数据处理库，还有一个更直接的原因是Python足够简单。Python作为解释型语言，不需要编译就可以运行，而且采用动态类型，灵活赋值，同样的功能实现，代码量比Java、C++少很多。而且Python既可以面向对象也可以面向过程编程，这样就简化了爬虫脚本编写的难度，即使新手也可以快速入门。
2025-04-13 09:06:25
1263
转载 超强！DeepSeek+HTML制作数据看板，老板看了都点赞
DeepSeek以极强的推理能力，支持生成各种代码，比如Python、SQL、Matlab、JS、HTML等，你可以拿这些代码放到编译器里，就能直接跑出结果，比如机器学习算法、exe应用、可视化图表、web应用。最近发现了一个好玩的场景，使用DeepSeek生成HTML来制作可视化数据看板。数据看板是职场中常见的数据展现形式，一般用Excel、Tableau、PowerBI来做，但现在DeepSeek也能帮你完成简单的看板搭建工作。
2025-04-12 14:09:01
433
原创 使用Cursor+Claude+DeepSeek搭建宝宝智能监测小助手
前段时间试用Cursor，想体验下Claude 3.5 Sonnet模型的写代码能力，据说是目前最强的编程大模型（没对比过R1，这里保持质疑）。然后我花了十分钟写了一个婴儿脸部追踪监测Python脚本，并且搭配DeepSeek语音问答，可以提问宝宝喂养问题。让我惊讶的是，十分钟的对话，Cursor写的代码居然能跑起来，基本功能都实现了，虽然很简陋，但它跑起来了！！！写这个脚本主要因为最近晋升奶爸，想着搞一个摄像头来监测宝宝睡觉，初步想了两个基本功能（可以看作prompt）。
2025-04-12 12:40:54
432
原创 纸上谈兵学Python，你其实是浪费时间而已
不要被围绕某一种语言的宗教把你扯进去， 这只会让你忘掉了语言的真正目的，也就是作为你的工具来实现有趣的事情。人的大脑可以分为反射、思考、记忆三个功能，大脑可以通过大量的反复练习让思考演变成习惯，最后跳过思考只需要反射的指令操控就能完成，从而达到“生巧”的效果。自学 Python 很久却还是不会用，就像你学英语十几年还是不会说，原因是一样的，你没有把Python当做工具去用，而是一味地学，等同于纸上谈兵。可能练习不一定会让你完美，但大量的练习会让你产生髓磷脂，一种神经元外侧的脂质，能让你的脑回路更加灵活。
2025-04-12 12:40:26
464
原创 八年Python开发，一款编程显示器很重要
其实对于编程开发来说，一款好的显示器带来的帮助会超乎你的想象，不管是编码体验、开发效率、健康保护，都是质的提升，就像一款优秀的鼠标、键盘一样。从我个人使用BenQ-RD280U编程显示器的体验来说，最吸引我的功能是专业编程模式，从硬件层面做了优化，对于代码清晰度和层次感的提升非常明显，并且可以轻松地切换，是一款开发利器。其他功能上也处处为了提升开发效率，保护开发者健康，我觉得蛮值得用一用。
2025-04-12 12:39:03
921
原创 使用DeepSeek制作可视化图表的7大场景，图表颜值超高~
通过上面几个可视化图表绘制的案例，可见DeepSeek虽只是输出文本，但同样能构建丰富多彩的图表，而且不失美观和专业。
2025-04-12 12:37:03
678
原创 编程新手如何提高编程能力？
去每天花两小时写代码，去研读各种开源项目源代码。去写技术博客，去蹭技术讲座、会议、公开课程。去逛，去上提问，去论坛上找技术大佬聊天去参加，去参加等正规编程比赛。去尝试自己写一个个人网站，或者开发一个游戏APP。......只要你愿意提高代码能力，有无数种方法能帮到你，但你需要让你的意愿充斥整个身体，并相信能做好。俗话讲，不积跬步无以至千里，新手想要成为高手，疯狂的练习是第一步。
2025-04-10 22:57:35
835
原创 学习Pandas的几个好去处
Pandas作为Python数科领域最顶级的库之一，就像excel之于office，是处理数据必备工具。Pandas的学习教程自然不会少，在Github上搜索Pandas，会出现超过18万个项目，可见其受众之多。如果说学习Pandas最好的教程是什么，那毫无疑问是官方文档，从小白到高手，它都给你安排的妥妥的，这个后面详细介绍。下面我会从入门、进阶、练习3个阶段推荐相应的教程和资源。
2025-04-10 22:56:52
788
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人