- 博客(97)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 登录系列|bitly.com网站
本文属于专栏python爬虫登录，该专栏列举了10+个网站的登录破解办法，如感兴趣，欢迎关注及订阅。主要在_xsrf参数的更新。
2023-07-20 12:15:58
1357
原创 Python——cmd调用（os.system阻塞处理）
os.system默认阻塞当前程序执行，在cmd命令前加入start可不阻塞当前程序执行。例如：
2023-01-05 11:00:18
1774
原创 通过requests登录店小秘解决验证码问题
requests登录的难点在于将验证码与账号联系起来，这里是cookie和referer。欢迎关注，爬虫王者
2022-12-07 17:32:41
818
原创 linux(centos)创建虚拟环境部署airflow
一、创建虚拟环境1.安装virtualenv，virtualenvwrapperpip install virtualenv virtualenvwrapper安装好之后创建存放虚拟环境目录，这里我存在 ~/pythonvenv 里，查看当前路径：pwd，返回/home/cch/pythonvenv如果没有pip 先安装pip：yum install -y pip安装好了之后，查找virtualenv位置：find / -name virtualenv例：返回：/home/cch/.local
2022-05-29 11:55:35
655
原创 天工矩阵爬虫
# - * - coding : utf-8 - * -"""====================================================================================================================function : 具体需求如下： http://www.titanmatrix.com/tgxx 按照品牌和系列可以看到选型参数 不同
2021-12-29 13:44:46
569
2
原创 多个CSV写入同一个Excel不同sheet中
import pandas as pdexcelWriter = pd.ExcelWriter("result.xlsx")for index, name in enumerate(names): df = pd.read_csv(f"data/{name}.csv", encoding='utf-8') df.to_excel(excel_writer=excelWriter, sheet_name=name, index=None)excelWriter.save()
2021-10-15 15:57:48
1330
原创 PDF转图片
由于pyautogui无法在电脑软件上进行粘贴操作，故通过向日葵远程桌面进行粘贴操作发送任务端# - * - coding : utf-8 - * -"""====================================================================================================================function : PDF转图片自动化===================================
2021-10-15 11:22:05
165
原创 工品一号登录
本文属于专栏python爬虫登录，该专栏列举了10+个网站的登录破解办法，如感兴趣，欢迎关注及订阅。录入的网站有：1688淘宝信发集团上海有色网厦钨平台用友商业创新平台京满仓（工品汇）米思米三块神铁怡合达万千紧固件工品一号其中技术难点包括验证码识别，js逆向分析等。网站持续增加中…如以上网站不在您需要的范围内，欢迎私信询问。# - * - coding : utf-8 - * -import urllib3urllib3.disable_warnings()im
2021-10-13 15:48:38
715
原创 怡合达登录
本文属于专栏python爬虫登录，该专栏列举了10+个网站的登录破解办法，如感兴趣，欢迎关注及订阅。录入的网站有：1688淘宝信发集团上海有色网厦钨平台用友商业创新平台京满仓（工品汇）米思米三块神铁怡合达万千紧固件其中技术难点包括验证码识别，js逆向分析等。网站持续增加中…如以上网站不在您需要的范围内，欢迎私信询问。# - * - coding : utf-8 - * -import urllib3urllib3.disable_warnings()import
2021-10-09 16:26:10
431
原创 京满仓（工品汇）登录
本文属于专栏python爬虫登录，该专栏列举了10+个网站的登录破解办法，如感兴趣，欢迎关注及订阅。录入的网站有：1688淘宝信发集团上海有色网厦钨平台用友商业创新平台京满仓（工品汇）米思米三块神铁怡合达万千紧固件其中技术难点包括验证码识别，js逆向分析等。网站持续增加中…如以上网站不在您需要的范围内，欢迎私信询问。import urllib3urllib3.disable_warnings()import osimport reimport mathimpor
2021-10-09 16:22:07
1282
原创 js分析之怡合达模拟js生成verify, nvcValue, timestamp, type - 公开版
一 需求https://www.yhdfa.com/product/A/A01/SAD01-22?productModel=SAD01-D3-L50账号：xx密码：xx获取指定型号的价格信息二 分析请求发现通过这个接口获取：https://www.yhdfa.com/apiphp/quotation/enquiry，这里的token通过登录获取，临时性任务的话直接复制粘贴得了。难点在于verify生成。三 实操分析发现verify是通过这个接口生成的。那么就来看看如何请求得到这个capt
2021-09-29 19:43:53
422
原创 js与python转化
jspython>>>>>string.charCodeAt(index)ord(string[index])encodeURIComponenturllib.unquote实现js中unescape解码方法import urllib.parseimport sysimport htmlimport redef unescape(string): string = urllib.parse.unquote(strin...
2021-09-07 15:01:43
1368
原创 Ubuntu18 airflow安装及使用
1.下载安装virtualbox(Oracle VM VirtualBox)2.下载ubuntu16镜像https://releases.ubuntu.com/xenial/3.virtualbox新建一个虚拟环境（选择Linux64）完成后，选择设置-存储-没有盘片-分配光驱-选择下载的ubuntu-16.04.6-desktop-i386.iso4.安装ubuntu16环境5.安装pip3:wget https://bootstrap.pypa.io/pip/3.5/get-pip.pypy
2021-07-30 09:36:06
1818
原创 chrome截长图
chrome截长图: F12-> CTRL+SHIFT+P ->capture full size screenshot对某些网页table节点似乎不能做到屏幕外节点截图
2021-05-21 17:14:17
422
原创 1688获取数据并发邮件
# - * - coding : utf-8 - * -import osfrom datetime import datetime, timedeltaimport timeimport pyautoguiimport pyperclipimport randomimport pandas as pdimport jsonimport mathfrom urllib.parse import urlencodefrom utils.request import Reques
2021-04-21 16:24:38
713
原创 linux运行phantomjs报错QXcbConnection: Could not connect to display
https://panfake.com/2020/03/qxcbconnection-could-not-connect-to-display/首先vim ~/.bashrc然后把下面的这句话加进去，第一行就可以export QT_QPA_PLATFORM='offscreen'运行如下命令使配置生效source ~/.bashrc再次运行phantomjs，无报错成功进入。...
2021-04-08 15:15:11
608
1
原创 json.loads()出现Expecting property name enclosed in double quotes: line 1 column 2 (char 1)
import demjsonimport jsoncookie = cookie_handler.get_cookies()# print(json.loads(cookie))cookie = demjson.decode(cookie)print(cookie)使用demjson转换
2021-03-23 15:23:20
721
原创 selenium 加载到设定时长后不再加载（防止长时加载）
from selenium import webdriverfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesimport time desired_capabilities = DesiredCapabilities().CHROMEdesired_capabilities['pageLoadStrategy'] = 'none'driver = webdriver.Chrome(desi
2021-03-18 11:43:51
603
原创 下载fiddler后出现注册不了的情况
下载fiddler everywhere后出现注册不了的情况（发送的注册邮件链接地址打开有误）：下载经典版的fiddler即可。https://www.telerik.com/fiddler安装包可见百度网盘：链接：https://pan.baidu.com/s/1i_d-bJPg2jkFf3EOUf9_ww提取码：sfcb...
2021-01-24 20:38:54
2885
原创 视频/音频处理工具ffmpeg安装
1.网站https://ffmpeg.org/2.D:\zhichixuqiu\9267\ffmpeg\bin 加入到环境变量3.验证
2020-12-11 16:05:37
125
原创 索引，分区和分桶的区别
一、索引简介Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。为什么要创建索引？Hive的索引目的是提高Hive表指定列的查询速度。没有索引时，类似WHERE tab1.col1 = 10的查询，Hive会加载整张表或分区，然后处理所有的rows，但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。与其他传统数
2020-11-10 10:34:06
660
原创 yii框架第一个应用浏览器始终无法打开的坑
对于小白来说，https://www.yiichina.com/doc/guide/1.1/quickstart.installation是很好的yii框架学习指南。按照指南写第一个应用的时候出现打不开网页的情况。简单总结以下几点：1.想通过浏览器打开页面，首先得开启http服务，建议使用wampserver，安装后，一键开启即可，不开启服务是不行的。2.指南中的http://hostname/path/to/yii/requirements/index.php并没有说明白到底是什么！这对于小白很不
2020-09-28 16:08:30
571
原创 python3 requests禁用安全请求警告
# 禁用安全请求警告import requestsfrom requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)控制台输出中无 SSL认证警告 了亲测可用
2020-09-02 14:32:37
1223
原创 论年会为何物，看来年寻觅他处
迈入职场已一年有余，离开学校后，才发现生活的不易，甚至丢失了生活的方向，丢失了奋斗的方向。因为看不到出路，无任何含金量专业毕业的我（985硕）工作半年后毅然裸辞，自学编程。在家啃了3个月的书之后开始找工作，所幸老天待我不薄，一个星期时间我就拿到一个offer，没有太多的犹豫，我就入职了，虽然工资在行业里算是垫底的（一万出头），但好歹比之前多了好几千，所以打算踏踏实实的好好干，慢慢攒经验（简历上无...
2020-08-12 17:16:07
288
5
原创 css选择器中:nth-child()和:nth-of-type()简洁明了的区别
以https://bj.fang.lianjia.com/loupan/p_ycyxhfaawyk/huxingtu/1120032477145011.html为例，观察.news-glob > div:nth-child(10)和.news-glob > div:nth-of-type(10)的区别。实验发现：div:nth-child(10)：是选择第10个子节点（按顺序看所有子节点），若第10个子节点是div节点，则返回该节点，若该节点不是div节点，则返回空。div:nth-of-
2020-07-14 17:18:03
366
原创 常用SQL语句及SQL效率提高
这里写自定义目录标题数据库类型Postgresql功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入数据库类型你好！ ...
2020-07-02 10:12:56
171
原创 Python求质数/素数
先写一个装饰器，为了测试执行时间from functools import wrapsimport timedef f1(func): @wraps(func) def f2(): begin = time.time() func() end = time.time() print('cost', end - begin) return f2
2020-06-22 15:16:59
302
原创 python装饰器-测试运行时间
单独写一个函数d1.pyfrom functools import wrapsimport timedef f1(func): @wraps(func) def f2(): begin = time.time() func() end = time.time() print('cost', end - begin) return f2以下是应用from d1 import f1@f1def f():
2020-06-19 14:27:13
408
原创 win10安装python文字识别包pytesseract
安装pytesseractpip insatll pytesseract安装Tesseract-OCR(https://github.com/tesseract-ocr/tesseract)安装完后将Tesseract-OCR的安装路径添加到环境变量中PATH和Path中，都要添加。重启使用：from PIL import Imageimport pytesseractimage = Image.open('2.png')c = pytesseract.image_to_s.
2020-06-11 10:36:18
353
原创 利用PIL进行图片裁剪与拼接之简单使用
最简单最清晰的方法如下：# -*- coding: utf-8 -*-from PIL import Image# 图片裁剪# img = Image.open('imgs/2.jpg')# print('图片的大小为： {}'.format(img.size))# img.resize((700, 700))# img.show()# img2 = img.crop((0, 0, 700, 600))# img2.save('imgs/3.jpg')# img3 = img.cro
2020-05-14 22:50:33
818
原创 用Tkinter的mainloop时插入循环用线程
import Threadclass Product(): def __init__(self): pass def f1(self): while True: time.sleep(1) print(1) def f2(self): while True: ...
2020-04-19 16:04:29
1896
原创 linux分屏工具
Screen https://blog.csdn.net/qq_39498924/article/details/101272208linux分屏工具，可管理远程会话，可多屏编程
2020-04-19 16:02:14
332
pymssql‑2.1.4.dev5‑cp37‑cp37m‑win32.whl pymssql‑2.1.4.dev5‑cp37‑cp37m‑win_amd64.whl.rar
2019-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人