pythonlaodi的博客

前言本文将使用pytorch框架的目标识别技术实现滑块验证码的破解。我们这里选择了yolov5算法例：输入图像输出图像可以看到经过检测之后，我们能很准确的定位到缺口的位置，并且能得到缺口的坐标，这样一来我们就能很轻松的实现滑动验证码的破解。一.前期工作yolov系列是常用的目标检测算法，yolov5不仅配置简单，而且在速度上也有不小的提升，我们很容易就能训练我们自己的数据集。YOLOV5 Pytorch版本GIthub网址感谢这位作者的代码。下载之后，是这样的格式---d...

爬取思路：前两天有网友让我帮忙做一个通过快递100这个网站查快递物流信息的爬虫。研究了一下，发现实现起来不是很复杂，在此整理成文档并share给大家。爬取思路：输入运单号后从服务器获取快递公司对应的ID号，然后拼接出新的请求地址来获取相关信息。代码分解：class KuaiDi100(): def __init__(self): self.comCode = "" self.temp = "" self.url = r"https://

好久不见，各位小伙伴们！嗐，春节真滴快啊！祝大家新年快乐！书山有路勤为径，学海无涯苦作舟！又得开始愉快滴学习了！小夜斗今天给大家伙分享一期干货，芜湖起飞！JS逆向网易云爬取评论并利用snownpl进行情感分析一：逆向破解网易云参数抓取评论信息网易云PC端url: https://music.163.com/#/song?id=1817702136要抓取滴评论如下图所示:老规矩，检查网页元素，找到评论信息所在的请求网址!从xhr里面找一下子就能找到，看下面截图:如果直接请

然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下：爬取测试下面我演示使用xpath解析数据。入口页数据读取：import requestsfrom lxml import etreeimport p

普通滑动验证码验证只需要我们将滑块拖动指定位置，处理起来比较简单。拖动之前需要先将滚动条滚动到指定元素位置,但是需要注意目标网站对selenium的反爬,如window.navigator.webdriver识别;滑块移动速度识别等;带缺口(拼图)滑动验证码这一类验证码可以使用两种方式识别:①在目标网站带有完整背景图时,可以获取完整背景图与带缺口的图片进行比较,获取缺口的位置,计算距离,拖动滑块移动至缺口即可;②尝试先用cv2的边缘检测识别出边界，然后进行模糊匹配，匹配出拼图在验证码图片的位

爬取网站：http://datachart.500.com/dlt/history/history.shtml —500彩票网 （分析后发现网站源代码并非是通过页面跳转来查找不同的数据，故可通过F12查找network栏找到真正储存所有历史开奖结果的网页）如图：爬虫部分：from bs4 import BeautifulSoup #引用BeautifulSoup库import requests #引用requestsimport os

第一步 标定坐标import pyautoguiimport time# 自动防故障功能pyautogui.FAILSAFE =False# 停顿功能pyautogui.PAUSE = 2# 屏幕总参数获取width,height = pyautogui.size()print(width,height) # 1366 768# 屏幕位置获取time.sleep(2)print(pyautogui.position()) # 得到当前鼠标位置"""位置参数：总人

之前，我们介绍了两种基础的JS逆向案例。今天，就继续来分享一个稍微复杂的JS逆向案例吧~爬取网址：企业科技，本次爬取仅供学习，无任何商业用途一、寻找加密源码进入网站后，利用Chrome浏览器进行抓包，结果如下从上图可知，我们需要的数据encypt_data被加密成一长串字符。按照JS逆向的一般套路，首先，我们来搜索一下encypt_data参数，基本步骤如下通过比对搜索出的6个encypt_data参数，最终定位到10790行的encypt_data，在此数打下断点，刷.

一、效果图二、代码import refrom fake_useragent import UserAgentfrom lxml import etreeimport asyncioimport aiohttpimport pandas as pd # 定义一个类 定义使用的变量 定义get方法通过连接池进行网络请求class LianjiaSpider(object): def __init__(self): self.ua = User...

1.下载并安装Python文件。 由于我们的代码是基于Python执行的。 因此，我们需要两件东西： 一种Python本身，一种pycharm，只需要这两种!!! 网络上有许多教程，这里不再多说。 2.系统环境和模块配置 在安装了Python之后，进入我的另一个blog，按照前面3个步骤来配置环境。 实现淘宝穗的Python。 3.JD.COM.RobbeSpack密码。 小心!! ②复制代码到pycharm中来执行。 b注意上次修改代码的时间。 ③Firefox浏览器需要安装。 D.登录JD.COM扫描码

=到了一定年龄，父母可能会催你找女朋友，结婚。 大多数的父母催婚，是父母渐渐老了，想让你找个人照顾你，有热饭吃，生病了有人照顾。在外面不被人欺负。 当然，也有一部分来自周围人的压力，跟你同龄的孩子差不多都结婚了，你父母的压力自然就来了。跟父母给孩子报课外辅导班的心理一样。 很多时候让你成家立业，在父母看来，帮你完成成家的任务，父母的一大任务算是完成了。不然单身的男女每个家，在父母心里始终是个心结，这种心情，小城镇特别的突出。 父母帮你完成了结婚的任务，不需要像以前那样辛辛苦苦奔波赚钱了。 催婚，第一，是

近年来，国内的电信诈骗案件呈愈演愈烈之势，本文以某省电信公司简化版本的防诈骗模型为案例，利用python机器学习工具，使用随机森林算法，从数据处理、特征工程、到反诈骗模型的模型的构建及评估等完整流程进行一个简单的记录和介绍。流程图环境设置、模块加载# coding: utf-8import osimport numpy as npimport pandas as pdfrom sklearn.ensemble import IsolationForestfrom sklearn.mo

写了这么多年爬虫了，经常还是会撞上反爬机制。虽然大多数时候都能解决，但是毕竟反爬机制多种多样，有时候遇到一个许久不见的反爬机制，也会感到手生，一时想不上来应对方法，而浪费不少时间。最近写了不少爬虫，接下来一段时间又不写了，趁着手还比较熟，记录一下备忘，方便大家也方便自己。之前写过一篇常用的反爬虫封禁手段概览, 但是主要是从反爬的角度来的，这篇主要从写爬虫的角度来说说。开章明义，当遇到反爬机制时，想要做到把数据爬下来，无非四个方法： 加代理 降速度 破解接口 多注册

什么是正则表达式？正则表达式（Regular Expression）通常被用来检索、替换那些符合某个模式(规则)的文本。此处的Regular即是规则、规律的意思，Regular Expression即“描述某种规则的表达式”之意。本文收集了一些常见的正则表达式用法，方便大家查询取用，并在最后附了详细的正则表达式语法手册。案例包括：「邮箱、身份证号、手机号码、固定电话、域名、IP地址、日期、邮编、密码、中文字符、数字、字符串」Python如何支持正则？我用的是python来实现正则..

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。Python分析抖音用户行为数据视频讲解地址https://www.bilibili.com/video/BV1yp4y1q7ZC/复制代码随着短视频的APP兴起，在短视频社交市场，抖音短视频异常火爆表现突出，希望通过本次的分析，给到用户发布视频的几点建议。数据分析1 平台日播放量，日用户量，日作者量，日作品量日播放量，日用户量，日作者量，日作品量随时间..

开发工具Python版本：3.6.4相关模块：pygame模块；以及一些Python自带的模块。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入相关文件关注公众号：Python学习指南，获取相关文件，图片与音频素材源于网络，侵歉删。原理介绍游戏规则简介：玩家通过建造箭塔抵御敌人的进攻。每隔一段时间，将会有一波敌人从左上角的洞穴中诞生，并冲向右下角的城堡。玩家需要做的，则是通过建造箭.

一、安装seleniumpip install Selenium二、初始化浏览器PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入 Chrome 是初始化谷歌浏览器 Firefox 是初始化火狐浏览器 Edge 是初始化IE浏览器 PhantomJS 是一个无界面浏览器。 from selenium import webdriver driver = webdriver.Chr

1. 概述刚刚收到了两个消息，一个好消息，一个坏消息。先说好消息，好消息就是微信群里有人要发红包，开心~不过转念一想，前几次的红包一个都没抢到，这次？？？不由自主的叹了一口气 ...过了一会，内心的情绪逐渐平复了。心想：“难道就这么放弃了吗？晚饭还吃泡面（泡面感觉有被冒犯到）？但是手动抢肯定没戏，毕竟手can谁也没办法！那就只能试试能不能通过编程的方式实现自动化抢红包了！”现在捋一下思路，微信群发红包的基本情况是：每一次发红...

目前，市场上有大量 Python图形用户界面（GUI）开发框架可供选择，如wxpython 、pyqt5、Gtk、Tk等。本文将用Python结合PyQt5制作一款B站视频数据下载器，可以通过输入关键字、页码以及选择存储路径后，下载相应的数据，演示效果如下：PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入开发环境Python3PycharmPyQt5Qt Designerrequests准备工作首先，新

有时在处理文件时候，我们需要将中文姓名转换为拼音，或者是转换为拼音首字母，本文将介绍三种Python实现的方法，最后给一个批量操作的代码案例!一、xpinyin开门见山，Python中文字转拼音可以使用xpinyin，直接使用pip安装即可pipinstallxpinyin-ihttp://pypi.douban.com/simple--trusted-hostpypi.douban.com接着导入xpinyin下的 Pinyin 方法如下fromxpinyi...

70G年报pdf数据集数据下载说明所有pdf均来自上海证券交易所官网，使用shreport库进行的下载。报告信息汇总文件summary.xlsx内字段company 上市公司企业名 code 股票代码 type 报告类型 year 报告年份 date 报告发布日期 pdf 报告pdf文件下载链接importpandasaspdfrompathlibimportPath#报告汇总文件summary.xlsxdf=pd.rea...

使用python代码获取多台服务器信息，要求使用html形式发送表格，适用验证版本（ubuntu16、ubuntu18）ubuntu14版本top输出信息有些差异，此代码不适用。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入import smtplibfrom email.header import Headerfrom email.mime.text import MIMEText import parami

1.使用Python爬虫对QQ音乐进行爬取数据，进行数据分析得到歌曲的url。1.将搜索url进行拼接；https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w={name}2.根据搜索url进行爬取搜索列表3.根据所选取的选项进行爬取，得到下载url:https://y.qq.com/n/yqq/song/002CD1h63aXAkm.html

Background最近业务需求需要把生成的月报定时发送到指定邮箱，直接在网上找了相关经验改巴改巴给实现了，测试可以直接使用，生产是我从MySQL数据库获取文件信息和邮箱等使用的，程序中的注释相当清楚了。定时是通过shell脚本实现的。获取邮件服务器和授权码PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入源码from datetime import datetimefrom...

Background最近业务需求需要把生成的月报定时发送到指定邮箱，直接在网上找了相关经验改巴改巴给实现了，测试可以直接使用，生产是我从MySQL数据库获取文件信息和邮箱等使用的，程序中的注释相当清楚了。定时是通过shell脚本实现的。获取邮件服务器和授权码PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入源码from datetime import datetimefrom pymysql i.

封IP访问网站频率太高，被反爬虫。同一个IP短时间内大量发送请求，被服务器判断为异常请求。代理服务器代理：破解封IP这种反爬机制。代理服务器：本机客户端和Web服务器之间的桥梁，本机客户端将请求发送给代理服务器，代理服务器再把请求转发给Web服务器。代理的作用：突破自身IP访问的限制、可以隐藏自身真实的IP。代理相关的网站：快代理、西祠代理、www.goubanjia.com代理IP的类型：http：应用到http协议对应的url中、https：应用到https协议对应的url中。代理

校园网总是时不时就断开，给远程操控带来了极大不便。写个程序让它自动联网吧！1.判断网络状态使用ping命令就可以判断网络通不通了PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入可以使用os或者subprocess模块r = os.system('ping www.baidu.com')r = subprocess.run('ping www.baidu.com', stdout.

如何优雅的把两个不同的本地网页内容合并到一个网页中问题：项目中遇到一个问题就是把已经画出的两个html图合并成一个网页显示（给领导看）想了好多，开始想的是把原有的网页以字符串的方法是读取，然后把提取需要的部分（就是把第一个网页的<head>标签中的内容替换到第二个网页中，然后再把第一个网页的<body>中的内容增加到第二个网页中），随后而来的问题就是怎么读取<head>标签和<body>标签中的内容，思考无果放弃了。有知道的小伙伴可以留言。第二个思

前景提要因为我周围的小伙伴们天天跟我说的最多的一句话就是：空间第一条点赞。所以说我还不如直接做一个自动点赞的代码呢，免得天天催我点赞。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入目标确定QQ空间秒赞分析介绍登陆获取cookie首先既然是对 QQ空间的一系列操作，自然是先解决登陆方面，在这篇文章里面我就不过多介绍了，因为我上几期之前对QQ空间已经做了一定的介绍了。直接放出链接就好。欢迎看博主以前的文...

一、前言有时将代码转成带有界面的程序，会极大的方便使用，虽然在网上有很多现成的GUI系统，但是套用别人的代码，心里难免有些尴尬，所以本文将用Python爬虫结合wxpython模块构造一个NBA爬虫小软件，演示效果如下本文框架构造将分为二个部分讲解：构建GUI界面 举例套用爬虫框架主要涉及的Python模块有requests wx pymysql pandasPS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资...

1. 概述提到蚂蚁森林，大家应该都知道，你是否有因忘记收取能量而被好友收取的经历呢？如果你不是蚂蚁森林重度用户，被别人收取了能量可能对你来说没什么。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入但如果你是蚂蚁森林重度用户，遇到能量被偷 ...本文我们来看一下如何使用 Python + Appium 实现定时自动化收取蚂蚁森林能量。2. 环境本文主要环境如下：Win7 小米5s Pyth

在本教程中，你将学习如何使用不同的Python模块从web下载文件。此外，你将下载常规文件、web页面、Amazon S3和其他资源。最后，你将学习如何克服可能遇到的各种挑战，例如下载重定向的文件、下载大型文件、完成一个多线程下载以及其他策略。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入1、使用requests你可以使用requests模块从一个URL下载文件。考虑以下代码:...

python爬虫网页的基本流程：首先选取一部分精心挑选的种子URL。 将这些URL放入待抓取URL队列。 从待抓取URL队列中读取待抓取队列的URL，解析DNS，并且得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，从已下载的网页数据中分析出其他URL，并和已抓取的URL进行比较去重，最后将去重过的URL放入待抓取URL队列，从而进入下一个循环。 PS：如有需要Python学习资料的小伙伴可以加点击...

前言这周和大家分享如何用python识别图像里的条码。用到的库可以是zbar。希望西瓜6辛苦码的代码不要被盗了。（zxing的话，我一直没有装好，等装好之后再写一篇）具体步骤前期准备用opencv去读取图片，用pip进行安装。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入pip install opencv-python1所用到的图片就是这个使用pyzbarwindows的安装方法是.

1. 实例描述在平时编程的过程中，会经常在网上翻译一些单词，本文使用Python制作一款翻译小工具，不仅可以自己用，还可以嵌入到程序当中。运行程序，效果如下图所示，在文本框输入英文或中文，单击翻译按钮即可翻译，并将翻译内容显示在下面的文本框中。单击保存按钮将输入内容和翻译内容保存到文本文件中以便日后复习。单击清空按钮，将清除文本框中的内容。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入2. 技术要点利...

python实现word转成自定义格式的excel文档（解决思路和代码） 支持按照文件夹去批量处理，也可以单独一个文件进行处理，并且可以自定义标识符。最近在开发一个答题类的小程序，到了录入试题进行测试的时候了，发现一个问题，试题都是word文档格式的，每份有100题左右，拿到的第一份试题，光是段落数目就有800个。而且可能有几十份这样的试题。而word文档是没有固定格式的，想批量录入关系型数据库mysql，必须先转成excel文档。这个如果是手动一个个粘贴到excel表格，那就头大了。我最终需要

1. 创建自己的数据集，利用数字1-10 和 26个小写字母生成我们的训练数据集。from captcha.image import ImageCaptchaimport random CHAR_SET = ['1', '2', '3', '4', '5','6', '7', '8', '9', '0','a','b','c','d','e','f','g','h','i','j','k','l','m','n']CHAR_LEN = len(CHAR_SET) CAPTCHA_LEN =

不识有话说作为一个爬虫萌新，第一个小项目当然是爬一爬我们的萌新之友-《新笔趣阁》虽然没什么难度，不过还是分享一下自己的代码历程，希望能给予大家一些思路或帮助，当然，如果有大佬能够指出错误或可以改进的地方，那当然更好了，等你呦~PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入项目展示在讲解项目之前，先给你们展示一下功能，不然看了半天，结果不是自己想要的那不是自闭了。<-----------.

腾讯位置大数据网站https://heat.qq.com/网站功能介绍    腾讯位置大数据会将提供所有用户使用腾讯位置的数据信息，但没有用户信息（只有位置信息）。从这个网站我们可以获取所有使用腾讯位置服务的产品（微信、QQ、腾讯地图、京东和美团）的人再全球任何地方产生的定位次数，方便大家人口估测、商业分析和科学研究等。数据分析PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入POST请求    打开开发

最近在做一些图像分类的任务时，为了扩充我们的数据集，需要在搜索引擎下爬取额外的图片来扩充我们的训练集。搞人工智能真的是太难了????，居然还要会爬虫。当然网上也有许多python写的爬虫工具，当然，用多了就知道，这些爬虫工具不是不能进行多关键字的爬虫就是用不了，或者是一会就被网站检测到给停止了，最后发现了一款非常好用的python图像爬虫库icrawler，直接就能通过pip进行安装，使用时几行代码就能搞定，简直不要太爽。话不多说，附上安装命令：pip install icrawler1下面附