- 博客(24)
- 收藏
- 关注
RSS订阅原创 Python3.7+Django2.2.4+Xadmin
1.创建数据库 create database db_name default charset utf8 collate utf8_unicode_ci; 2.安装pymysql 项目的__init__.py下： import pymysql pymysql.install_as_MySQLdb() 错误一： django.core.exceptions.ImproperlyCo...
2019-08-07 17:03:14
1209
1
原创 markdown编辑器[typora]
【记】Ubuntu上好用的markdown编辑器：typora markdown语法 https://www.jianshu.com/p/191d1e21f7ed https://www.jianshu.com/p/f3147a804368 中文显示： File->Preference->Language 选择语言即可。 ...
2019-06-12 10:37:12
420
转载 conda install报PackagesNotFoundError
PackagesNotFoundError: The following packages are not available from current channels: 当使用conda install package_name安装包时，找不到对应的包，可使用pip install 安装。 https://www.e-learn.cn/content/wangluowenzhang/319...
2019-05-05 15:52:47
673
原创 conda创建虚拟环境时报ConnectionError
gaoyanping@SWD-GAOYPING-INT:~$ conda create -n hades python=2.7 Solving environment: failed CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/r/noarch/repodata.jso...
2019-05-05 15:33:34
2329
原创 elasticsearch搜索引擎及elasticsearch-head/kibana插件的安装
ElasticSearch是一个基于Lucene(java开发)的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。elasticsearch安装(ubuntu)1.确定安装java jdk(ElasticSearch是基于...
2018-05-07 09:27:35
752
原创 selenium动态网页请求
1.安装pip install selenium2.访问动态网页from selenium.webdriver import Chrome from scrapy.selector import Selector #加载驱动 browser = Chrome(executable_path="/home/mata/Tools/driver/chromedriver") browser.get( ...
2018-04-23 22:18:00
2109
原创 CrawlSpider 爬取拉勾网重定向302问题解决方案
custom_settings = { "COOKIES_ENABLED": False, "DOWNLOAD_DELAY": 1, 'DEFAULT_REQUEST_HEADERS': { 'Accept': 'application/json, text/javascript, */*; q=0.01', ...
2018-04-20 10:56:02
3327
1
原创 scrapy同步与异步储存数据
1.同步class MysqlPipeline(object): """ 采用同步的机制写入mysql """ def __init__(self): self.conn = pymysql.connect(host="127.0.0.1", user="root", password="ts123456", db="art_sc
2018-04-13 16:42:54
2602
原创 md5加密
import hashlib def get_md5(url): if isinstance(url, str): # 判断是否是unicode编码 url = url.encode('utf-8') m = hashlib.md5() m.update(url) return m.hexdigest() if __name__ == "_...
2018-04-12 14:01:24
230
原创 关于scrapy框架使用的笔记
1.parse.urljoin(base,url)的使用from urllib import parse Request(url=parse.urljoin(response.url, url), callback=self.parse_detail)提取出response.url的主域名与url(/111954/)做url的拼接。若url中有域名，拼接时不会用response.url提取出的主域...
2018-04-11 16:28:41
392
原创 Scrapy突破反爬虫限制
1.用户代理池downloader middleware实现随机更换User-Agent.fake-useragent库:up to date simple useragent faker with real world database.github-搜索fake-useragenthttps://fake-useragent.herokuapp.com/browsers/0.1.5以上这个ur...
2018-04-03 18:16:25
1230
原创 python3.6使用pymysql
1.pymysql安装pip install pymysql(测试连接：import pymysql，如编译未出错，即表示pymysql安装成功)2.插入操作import pymysql db=pymysql.connect(host="127.0.0.1",user="root",password="ts123456",db="blog_spider",port=3307) # 使...
2018-04-02 12:20:04
1049
原创 EasyBCD2.2将ubuntu添加到Windows启动菜单
PC安装ubuntu和 Windows双系统，将ubuntu添加windows到启动菜单；流程：EasyBCD -> Add New Entry - Linux/BSD->Type：GRUB 2->Add Entry，重新启动，看是否生效即可！
2018-02-21 21:40:58
2104
原创 [ubuntu]mysqlclient安装及相关错误解决方法
1.mysqlclient安装出错 解决方法：sudo apt-get install libmysqlclient-devs
2017-09-15 10:44:14
828
原创 scrapy安装出错总结
安裝scrapy前，先把twisted安裝好，否則一定 會出錯 ！安裝scrapy，去scrapy官網上下載源碼，最好用源碼安裝 。检查scrapy是否已经安装好：在shell界面上，若import scrapy没有出错，则已安装好Error 1.ImportError: No module named 'twisted.persisted'去python第三方库下载最新的twisted解压，py...
2017-08-24 11:30:12
2376
原创 [ubuntu]安装并使用python 3.6及与2.7的切换
当前使用ubuntu14.04 1.添加python3.6安装包，并安装（也可以去官网下载安装包） linux 报错E: Unable To Locate Package Software-properties-common https://blog.csdn.net/qq_27435059/article/details/80508553 sudo apt-get instal...
2017-08-23 10:34:16
26276
3
原创 [ubuntu]squid3代理配置
http_access访问控制列表: #http_access deny deny_url http_access deny all # TAG: http_access # Allowing or Denying access based on defined access lists 添加访问控制： 在/etc/squid3下创建控制文件guests： gues
2017-08-21 16:11:54
1759
转载 MySQL数据的备份与还原
一、数据备份 1、使用mysqldump命令备份 mysqldump命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。 mysqldump命令的工作原理很简单。它先查出需要备份的表的结构，再在文本文件中生成一个CREATE语句。然后，将表中的所有记录转换成一条INSERT语句。然后通过这些语句，就能够创建表并插入数据。 1、备份一个数据库
2017-08-12 14:13:49
230
原创 pip 相关命令的应用
1.记录第三方模块 pip freeze > requirements.txt 安装txt文件里所记录的所有第三方模块 pip install -r requirements.txt
2017-08-12 13:45:43
292
原创 [ubuntu]安装virtualenv，virtualenvwrapper出错
在ubuntu 14.04上安装virtualenv，virtualenvwrapper时，出现： "no module named upload" "virtualenvwrapper ERROR:root:Error parsing" 更新好setuptools，就可以解决： sudo pip install --upgrade setuptools 安装 爬虫Scrap...
2017-08-12 13:42:43
702
原创 [ubuntu]本地版本库code上传到github
1.在github上创建项目，步骤如下： 2.配置远程仓库 自行注册GitHub账号。由于你的本地Git仓库和GitHub仓库之间的传输是通过SSH加密的，所以，需要一点设置. 第1步：创建SSH Key。在用户主目录下，看看有没有.ssh目录，如果有，再看看这个目录下有没有id_rsa和id_rsa.pub这两个文件，如果已经有了，可直接跳到下一步。如果没有，打开Shell（W
2017-08-09 23:18:17
233
原创 AdminLte学习记录二_box
adminLTE的box是它样式中的主要组成部分， 下面基本上列举出来所有的样式和插件，另外我们可以直接在F12的调试窗口(在adminLTE官网上)，选中我们想要的样式，直接复制粘贴。 以下是我用过的几个例子，这是adminLTE的box中几种分类，若是没有自己想要的样式，可到官网上去提取想要的格式 1、info-box
2017-07-20 10:18:10
1904
原创 AdminLte学习记录一_结构
基本介绍 adminLTE是基于bootstrap3的前端框架，并且将bootstrap3进行修改来适应自身的样式。 adminLTE除了可以使用bootstrap3的大多数样式之外，自身也提供了一些非常实用的样式包装，并且在样式演示中已经基本罗列出来。 adminLTE的js是基于jquery2。 adminLTE的插件中使用的基本都是bootstrap和jquery
2017-07-19 16:34:46
1462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人