weixin_44675377的博客

原创 selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary

错误描述：启动selenium时报错，说找不到chrome二进制文件解决方案：通过代码重新指定一下你的chrome.exe的位置再运行就ok了。原因：时因为我把安装的谷歌目录给移动了，所以才导致这样的问题...

原创 linux上如何安装python3环境

1.解决依赖关系yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y2.下载p...

原创 linux如何更换yum源为阿里云源

1.找到yum源得老家备份自己原有得yum源cd /etc/yum.repos.d/2.找到阿里巴巴得yum源网站：https://developer.aliyun.com/mirror/3.找到centos标签点击进去4.找到这行命令复制下来到linux中下载下来sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http:/...

原创 linux得定时任务crontab

什么是计划任务：后台运行，到了预定的时间就会自动执行的任务，前提是：事先手动将计划任务设定好。这就用到了crond服务crond服务相关的软件包[root@MiWiFi-R3-srv ~]# rpm -qa |grep croncronie-anacron-1.4.11-14.el7.x86_64crontabs-1.11-6.20121102git.el7.noarchcronie-...

原创 df查看磁盘空间tree树状显示

df命令用于显示磁盘分区上的可使用的磁盘空间。默认显示单位为KB。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。语法df(选项)(参数)-h或--human-readable：以可读性较高的方式来显示信息；-k或--kilobytes：指定区块大小为1024字节；-T或--print-type：显示文件系统的类型；--help：显示帮助；--version：显...

原创 linux如何解决中文乱码

#查看系统当前字符集echo $LANGlocale#检查xshell crt的字符集#命令修改字符集# vim /etc/profile.d/locale.shexport LC_CTYPE=zh_CN.UTF-8export LC_ALL=zh_CN.UTF-8# vim /etc/locale.confLANG=zh_CN.UTF-8# vim /etc/sysco...

原创 linux tar解压netstat网络ps查看进程kill杀死进程 防火墙，，，，，

tar 命令：用来压缩和解压文件。tar本身不具有压缩功能。他是调用压缩功能实现的tar(选项)(参数)-A或--catenate：新增文件到以存在的备份文件；-B：设置区块大小；**-c或--create：建立新的备份文件；压缩**-C <目录>：这个选项用在解压缩，若要在特定目录解压缩，可以使用这个选项。-d：记录文件的差别；**-x或--extract或--get...

原创 linuxPS1变量控制命令行

Linux的PS1变量用于控制命令行提示符\W 是指只显示当前目录所以每次我们想知道自己在哪个 目录需要执行pwd来查看这种方式重启会丢失持久化操作：写入系统的配置文件，每次登录都加载操作：写入到/etc/profile这个用户配置文件里vim /etc/profile #打开这个文件，到最底行，写入变量赋值PS1='[\u@\h \w \t]\$'...

原创 linux如何修改文件目录权限

Linux权限的目的是（保护账户的资料）Linux权限主要依据三种身份来决定：user/owner 文件使用者,文件属于哪个用户group 属组,文件属于哪个组others 既不是user，也不再group，就是other，其他人权限定义：在Linux中，每个文件都有所属的所有者，和所有组，并且规定了文件的所有者，所有组以及其他人对文件的，可读，可写，可执行等权限。对于目录的权限...

原创 linux如何修改用户权限

#查看系统多少位uname -m#查看内核所有信息uname -a#更改主机名hostnamectl set-hostname xiyanglinux用户篇在Linux系统中，用户也有自己的UID身份账号且唯一系统管理员UID为0系统用户UID为1~999 Linux安装的服务程序都会创建独有的用户负责运行。普通用户UID从1000开始：由管理员创建#root为超...

原创 启动celery成功后访问异步任务引发的错误

错误描述：访问异步任务出错：这是请求异步任务所在的接口成功但是celery的worker这边出错：解决方案：引用;https://www.jianshu.com/p/57414db33c27

原创 celery启动时报错TypeError: unhashable type: 'Redis'

错误描述：正常开启程序，然后开启worker出错：开启worker命令：celery -A home.tasks.task_sms worker -l infohome.tasks.task_sms worker这个是你的异步任务模块，根据自己项目结构来写：报错：解决方法：这个坑有很多，原因也会有很多，本次遇到的问题是版本问题，由于celery是依赖billiard，所以我先...

原创 命令行查询MySQL出现乱码问题解决方案

问题描述：在命令行操作MySQL时，出现数据乱码情况：如图：解决方案分析：首先我们得数据库得编码方式为utf-8；如图：而我们的命令行默认为gbk；如图：可以通过命令 chcp然后在窗口中输入 chcp 65001（65001代表utf-8编码），然后回车，即可看到窗口默认编码为utf-8编码了最后查我们的MySQL数据恢复正常：...

原创 linux关机相关操作

原创 linux vim编辑快捷

注意：查找得时候是先进入命令行，也就是按过esc之后，再按/，然后在/后面输入你要查找得字符，回车，n表示下一个

原创 什么是高匿代理、匿名代理和透明代理？它们有什么区别？

HTTP代理按匿名度可分为透明代理、匿名代理和高度匿名代理。使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。 透明代理访问对方服务器所带的HTTP头信息如下：REMOTE_ADDR = 代理服务器IPHTTP_VIA = 代理服务器IPHTTP_X_FORWARDED_FOR = 你的真实IP透明代理还是将你的真实IP发送给了对方服务器，因此无法达到隐藏身份的目...

原创 利用X-shell中X-ftp上传文件到服务器得时候出错

问题描述：在上传文件到服务器得时候出现如下错误：解决方法：以为当前用户没有读写得权限需要赋予它读写权限chown -R xiyang /opt解释说明：xiyang是我得用户名，/opt是我赋予权限读写操作得目录已上传：...

原创 如何清除selenium被目标网站识别

可以看到网上有很多得说法都是去修改参数达到目的from selenium import webdriverfrom selenium.webdriver import ChromeOptions option = ChromeOptions() #实例化一个ChromeOptions对象option.add_experimental_option('excludeSwitches...

原创 linux部署redis服务以及实现windows与linux互相远程访问

1、redis安装步骤# 下载redis1.进入linux路径/usr/local/src2、$ wget http://download.redis.io/releases/redis-4.0.10.tar.gz3、$ tar xzf redis-4.0.10.tar.gz 4、$ cd redis-4.0.10/ 5、$ make && make install#...

原创 在linux上安装scrapyd

借鉴博客：https://blog.csdn.net/anderslu/article/details/72354457

原创 fiddler抓包以及模拟器出现代理不可用

问题描述：net::err_proxy_connection_failed意思是说代理不可用解决方案：严格按照fiddler得配置步骤配置成功，出现这个问题是因为fiddler得证书没有下载下来导致得，先配置好fiddler再去配置模拟器，==注意：==点击Actions,点击第二项：Export Root Certificate to Desktop，这时候桌面上会出现证书FiddlerR...

原创 djangorestframework 超级用户为创建

问题描述：当我访问接口的时候发现要登录超级用户，但是我并没有账号：解决方案：创建超级用户：python manage.py createsuperuser创建完成之后再访问：...

原创 Django在同步数据库时发生的错误raise MigrationSchemaMissing("Unable to create the django_migrations table (%s)" %

错误描述：这是在执行同步数据库时发生的错误：原因描述：Django2.1不再支持MySQL5.5，必须5.6版本以上解决方法：1.把Django降到2.0.0pip uninstall Django #卸载当前版本pip install Django==2.0.0 #下载Django2.0.0版本2.将MYSQL升级结果：...

原创 python----插入排序

插入排序原理1、构建有序序列2、选择无序队列的第一个元素，先放在有序队列末尾，然后进行冒泡排序，放到指定的位置3、循环2步，直到无序队列中所有元素全部进入有序队列的def InsertSort(list): for i in range(len(list)): #确定右侧每次的未排序数列的第一个值 for j in range(i,0,-1): #确定左侧已排好序的...

原创 mysql插入100万条记录------存储过程实现------测试索引

向数据库插入100万条测试数据/*创建存储过程插入一百万条测试数据*/delimiter $$ #声明存储过程create procedure proc12(in cnt int) #创建名为proc12的存储过程，（接收外部参数）in 声明 cnt变量 int类型begin #过程开始declare i int; #声明变量i用来循环插...

原创 mysql---烦人的字符集错误

问题描述：在数据库可视化工具上可以正常插入中文数据，但是在命令行执行insert语句的时候却发生错误：Incorrect string value:字符串值不正确：ok下面我发现，我的数据库编码是utf-8的，然而命令行是gbk的，这就是字符集不统一产生的错误，解决方法：进入数据库输入：set names “gbk”;在此进行插入：去数据库查看一下：ok问题解决，不得...

原创 python----MQ--实现通信

首先准备工作：pip install pika安装rabbitmq–python的依赖这里的话就是要先看一下官网出的案例：先了解一下官网给出的定义：RabbitMQ是一个消息代理。它的工作就是接收和转发消息。你可以把它想像成一个邮局：你把信件放入邮箱，邮递员就会把信件投递到你的收件人处。在这个比喻中，RabbitMQ就扮演着邮箱、邮局以及邮递员的角色。生产(Producing)的意思就是...

原创 python----RabbitMQ---服务启动的时候出现的问题

问题描述：解决方案：我想到将RabbitMQ服务的启动账号改成administrator，果然，更改后重启服务，再次执行rabbitmqctl status，成功！具体操作如下图所示：先在计算机服务中找到RabbitMQ的服务，右击点击属性然后重启一下服务，再在命令行执行rabbitmqctl status然后启动rabbitmq-plugins enable rabb...

原创 爬虫---抖音--准备工作--模拟器出现net::ERR_CONNECTION_TIMED_OUT

在windows下开启热点进入模拟器，点击设置设置代理点击浏览器在地址栏输入我们的ip进行安装证书（这是成功的结果）这是失败的结果在使用模拟器做准备工作的时候，需要在浏览器安装信任证书，发现自己的模拟器里面的浏览器出现这个问题，意思是连接超时，解决方法：可能是你的端口被占用：windows+r键打开命令行输入：netstat -aon|findstr “8888”...

原创 数据分析---pandas--数据清洗

数据清洗：在我们拿到数据之后，往往会因为各种原因造成数据异常，但是这时我们又需要准确的数据进行数据分析，那么就得先进行数据清洗，之后再进行数据分析。1.空值异常数据：2.点菜时间在做菜时间后异常数据3.点菜时间和做菜时间在同一时间异常数据4.时间太长超乎你想像异常数据import pandas as pdimport numpy as nporder = pd.read_c...

原创 数据分析--pandas--透视表与交叉表

1 使用 povit_table 函数创建透视表pivot_table 函数常用参数及其说明：利用 pivot_table 函数可以实现透视表，pivot_table()函数的常用参数及其使用格式如下。pands.pivot_table(data, values=None, index=None, columns=None, aggfunc=‘mean’, fill_value=None,...

原创 数据分析--pandas--使用分组聚合进行组内计算

1 使用 groupby 方法拆分数据先来看一张图：groupby 方法的参数及其说明：该方法提供的是分组聚合步骤中的拆分功能，能根据索引或字段对数据进行分组。其常用参数与使用格式如下。DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=Fal...

原创 数据分析--pandas--处理时间序列数据

1 转换字符串时间为标准时间pandas 时间相关的类：在多数情况下，对时间类型数据进行分析的前提就是将原本为字符串的时间转换为标准时间类型。pandas 继承了 NumPy 库和 datetime 库的时间相关模块，提供了 6 种时间相关的类。Timestamp 类型： 其中 Timestamp 作为时间类中最基础的，也是最为常用的。在多数情况下，时间相关的字符串都会转换成为 ...

原创 数据分析---pandas---DataFrame的常用操作

1 查看 DataFrame 的常用属性2 查改增删 DataFrame 数据 对单列数据的访问：DataFrame 的单列数据为一个 Series。根据 DataFrame 的定义可以知晓 DataFrame 是一个带有标签的二维数组，每个标签相当每一列的列名。有以下两种方式来实现对单列数据的访问。以字典访问某一个 key 的值的方式使用对应的列名，实现单列数据的访问。以...

原创 数据分析---pandas---文件读取

读写文本文件1.文本文件读取：文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。csv 是一种逗号分隔的文件格式，因为其分隔符不一定是逗号，又被称为字符分隔文件，文件以纯文本形式存储表格数据（数字和文本）。注意：(1)CSV 文件根据其定义也是一种文本文件；(2)文本文件是字符分隔文件。使用 read_table 来读取文本文件pandas.read_table...

原创 数据分析--matplotlib.pyplot---雷达图

import matplotlib.pyplot as pltimport numpy as np#通用设置#输出设置np.set_printoptions(threshold=np.NaN)#显示中文plt.rcParams['font.sans-serif'] = 'SimHei'#设置正常显示符号，解决保存图像是符号‘-’显示方块plt.rcParams['axes.uni...

原创 数据分析---Numpy--ufunc函数---广播机制

ufunc：全称通用函数（universal function），是一种能够对数组中所有元素进行操作的函数。以 Numpy 数组作为输出，因此不需要对数组每个元素都操作，比 math 库中的函数操作效率更高。四则运算：加（+）、减（-）、乘（*）、除（/）、幂（**）。数组间的四则运算表示对每个数组中的元素分别进行四则运算，所以形状必须相同。比较运算：>、<、==、>...

原创 数据分析--pandas--合并多个表的数据

场景描述：在工作中往往会需要我们对数据进行统计分析，然而我们拿到的数据有的时候会在多张表中存储着，这个时候就需要把多个表的数据汇总到一起。Example：首先这是我们看到的三张工作表import pandas as pdfrom pandas import DataFrameimport xlrd#pip install xlrd#打开工作簿wb =xlrd.open_workb...

原创 数据分析---pandas---遇到的问题--时间转换

问题描述：在利用pandas对excel数据表进行提取的时候，我要对里面的时间进行分析，然后发现当我想逐个取出年、月、日、星期的时候报错了，错误如下：意思是str类型的对象没有year这个属性，后来发现，虽然我读进来是个对象，但是却忽略了一个细节，就是在这里需要的是具体的时间戳对象，读出来的却是str对象，所以会报这个错。解决方案：将读出来的时间对象利用pandas进行时间戳转换之后再进行...

原创 数据分析--matplotlib.pyplot--散点图、折线图、直方图、饼图

散点图散点图：主要用于分析特性间的相关关系import matplotlib.pyplot as pltimport numpy as np#显示中文#注意必须在差UN关键画布之前声明plt.rcParams['font.sans-serif'] = 'SimHei'#设置正常显示符号，解决保存图像是符号’-‘显示方块plt.rcParams['axes.unicode_minu...