Scrapy-Redis结合POST请求获取数据

最新推荐文章于 2024-05-03 21:02:22 发布
最新推荐文章于 2024-05-03 21:02:22 发布
阅读量842 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songhao8080/article/details/103669973
版权

Scrapy-Redis结合POST请求获取数据

能看到这篇文章的小伙伴肯定已经知道什么是Scrapy以及Scrapy-Redis了，基础概念这里就不再介绍。默认情况下Scrapy-Redis是发送GET请求获取数据的，对于某些使用POST请求的情况需要重写make_request_from_data函数即可，但奇怪的是居然没在网上搜到简洁明了的答案，或许是太简单了？

这里我以httpbin.org这个网站为例，首先在settings.py中添加所需配置，这里需要根据实际情况进行修改：

Python
SCHEDULER = "scrapy_redis.scheduler.Scheduler" #启用Redis调度存储请求队列 SCHEDULER_PERSIST = True #不清除Redis队列、这样可以暂停/恢复 爬取 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #确保所有的爬虫通过Redis去重 SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' REDIS_URL = "redis://127.0.0.1:6379"
1
2
3
4
5
6
SCHEDULER = "scrapy_redis.scheduler.Scheduler"    #启用Redis调度存储请求队列
SCHEDULER_PERSIST = True      #不清除Redis队列、这样可以暂停/恢复 爬取
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"    #确保所有的爬虫通过Redis去重
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = "redis://127.0.0.1:6379"
 

爬虫代码如下：

Python
# -*- coding: utf-8 -*- import scrapy from scrapy_redis.spiders import RedisSpider class HpbSpider(RedisSpider): name = 'hpb' redis_key = 'test_post_data' def make_request_from_data(self, data): """Returns a Request instance from data coming from Redis. By default, ``data`` is an encoded URL. You can override this method to provide your own message decoding. Parameters ---------- data : bytes Message from redis. """ return scrapy.FormRequest("https://www.httpbin.org/post", formdata={"data":data},callback=self.parse) def parse(self, response): print(response.body)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# -*- coding: utf-8 -*-
import scrapy
from scrapy_redis . spiders import RedisSpider
 
 
class HpbSpider ( RedisSpider ) :
     name = 'hpb'
     redis_key = 'test_post_data'
 
     def make_request_from_data ( self , data ) :
         """Returns a Request instance from data coming from Redis.
        By default, ``data`` is an encoded URL. You can override this method to
        provide your own message decoding.
        Parameters
        ----------
        data : bytes
            Message from redis.
        """
         return scrapy . FormRequest ( "https://www.httpbin.org/post" ,
                                   formdata = { "data" : data } , callback = self . parse )
 
     def parse ( self , response ) :
         print ( response . body )
 

这里为了简单直接进行输出，真实使用时可以结合pipeline写数据库等。

然后启动爬虫程序scrapy crawl hpb，由于我们还没向test_post_data中写数据，所以启动后程序进入等待状态。然后模拟向队列写数据：

Python
import redis rd = redis.Redis('127.0.0.1',port=6379,db=0) for _ in range(1000): rd.lpush('test_post_data',_)
1
2
3
4
5
import redis
rd = redis . Redis ( '127.0.0.1' , port = 6379 , db = 0 )
for _ in range ( 1000 ) :
     rd . lpush ( 'test_post_data' , _ )
 

此时可以看到爬虫已经开始获取程序了：

Python
2019-05-06 16:30:21 [hpb] DEBUG: Read 8 requests from 'test_post_data' 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) 2019-05-06 16:30:21 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.httpbin.org/post> (referer: None) b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "0"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "1"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "3"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "2"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "4"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "5"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "6"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' b'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "data": "7"\n }, \n "headers": {\n "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n "Accept-Encoding": "gzip,deflate", \n "Accept-Language": "en", \n "Content-Length": "6", \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "www.httpbin.org", \n "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n }, \n "json": null, \n "origin": "1.2.3.48, 1.2.3.48", \n "url": "https://www.httpbin.org/post"\n}\n' 2019-05-06 16:31:09 [scrapy.extensions.logstats] INFO: Crawled 1001 pages (at 280 pages/min), scraped 0 items (at 0 items/min) 2019-05-06 16:32:09 [scrapy.extensions.logstats] INFO: Crawled 1001 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2019-05-06 16:33:09 [scrapy.extensions.logstats] INFO: Crawled 1001 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
2019 - 05 - 06 16 : 30 : 21 [ hpb ] DEBUG : Read 8 requests from 'test_post_data'
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
2019 - 05 - 06 16 : 30 : 21 [ scrapy . core . engine ] DEBUG : Crawled ( 200 ) < POST https : / / www . httpbin . org / post > ( referer : None )
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "0"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "1"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "3"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "2"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "4"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "5"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "6"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
b '{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "data": "7"\n  }, \n  "headers": {\n    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", \n    "Accept-Encoding": "gzip,deflate", \n    "Accept-Language": "en", \n    "Content-Length": "6", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"\n  }, \n  "json": null, \n  "origin": "1.2.3.48, 1.2.3.48", \n  "url": "https://www.httpbin.org/post"\n}\n'
2019 - 05 - 06 16 : 31 : 09 [ scrapy . extensions . logstats ] INFO : Crawled 1001 pages ( at 280 pages / min ) , scraped 0 items ( at 0 items / min )
2019 - 05 - 06 16 : 32 : 09 [ scrapy . extensions . logstats ] INFO : Crawled 1001 pages ( at 0 pages / min ) , scraped 0 items ( at 0 items / min )
2019 - 05 - 06 16 : 33 : 09 [ scrapy . extensions . logstats ] INFO : Crawled 1001 pages ( at 0 pages / min ) , scraped 0 items ( at 0 items / min )
 

至于数据重复的问题，如果POST的数据重复，这个请求就不会发送出去。




  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱
songhao8080
关注
Python开发技巧：scrapy-redis爬虫如何发送POST请求
xiaoxijinger的博客
03-24 650
同学们在使用scrapy-redis分布式爬虫框架开发的时候会发现，其默认只能发送GET请求，不能直接发送POST请求，这就导致我们在开发一些爬虫工具的时候出现问题，那么如何才能让scrapy-redis发送POST请求呢？ scrapy-redis爬虫 这里我们以美团网站为例，先来说一说需求，也就是说美团POST请求形式。我们以获取某个地理坐标下，所有店铺类别列表请求为例。获取所有店铺类别列表时，我们需要构造一个包含位置坐标经纬度等信息的表单数据，以及为了向下一层parse方法传递的一些必要数据，即met
scrapy-redis源码分析之发送POST请求详解
01-20
1 引言 这段时间在研究美团爬虫，用的是scrapy-redis分布式爬虫框架，奈何scrapy-redis与scrapy框架不同，默认只发送GET请求，换句话说，不能直接发送POST请求，而美团的数据请求方式是POST，网上找了一圈，发现关于scrapy-redis发送POST的资料寥寥无几，只能自己刚源码了。 2 美团POST需求说明 先来说一说需求，也就是说美团POST请求形式。我们以获取某个地理坐标下，所有店铺类别列表请求为例。获取所有店铺类别列表时，我们需要构造一个包含位置坐标经纬度等信息的表单数据，以及为了向下一层parse方法传递的一些必要数据，即meta，然后发起一个PO
scrapy 框架之发送post请求
benben0729的专栏
06-26 5238
scrapy默认发送的是get请求发送post请求时需要重载
Scrapy-Redis结合POST请求获取数据的方法示例
12-26
前言 通常我们在一个站站点进行采集的时候，如果是小站的话 我们使用scrapy本身就可以满足。 但是如果在面对一些比较大型的站点的时候，单个scrapy就显得力不从心了。 要是我们能够多个Scrapy一起采集该多好啊 人多力量大。 很遗憾Scrapy官方并不支持多个同时采集一个站点，虽然官方给出一个方法： **将一个站点的分割成几部分 交给不同的scrapy去采集** 似乎是个解决办法，但是很麻烦诶！毕竟分割很麻烦的哇 下面就改轮到我们的额主角Scrapy-Redis登场了！ 能看到这篇文章的小伙伴肯定已经知道什么是Scrapy以及Scrapy-Redis了，基础概念这里就不再介绍。默认情况下
Scrapy 获取POST请求包中内容
Qiu的博客
06-25 735
使用Scrapy框架编写Spider爬虫来获取获取到POST请求包中的内容
scrapy爬取post的数据
热门推荐
夜斗不是神
04-27 1万+
1.爬取瑞钱宝的投资方式的数据，爬取内容如下：       2.查看网址，可以发现： 点击下一页时，地址栏里的链接均无任何变化。可以判断出该网页的数据都是post方式上传的。 说一下get和post的区别： get显式的传参，而post是隐式的。 get的URL会有限制，而post没有。 get没有post安全。 不过，小某还看到一篇内容。点击打开
Python Scrapy中的POST请求发送和递归爬取
m0_72282564的博客
09-23 334
需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。重写爬虫应用文件中继承Spider类的 类的里面的start_requests（self）这个方法。1.将每一个页码对应的url存放到爬虫文件的起始url列表（start_urls）中。需求：将糗事百科所有页码的作者和段子内容数据进行爬取且持久化存储。
Scrapy 如何正确发送 POST请求 获取到响应数据的三种写法
weixin_44532999的博客
02-28 1585
但如果你看过 Scrapy 的官方文档（https://doc.scrapy.org/en/latest/topics/request-response.html#jsonrequest），你就会知道，实际上 Scrapy 原本就提供了一个专门用来POST 提交 JSON 数据的方式——JsonRequest。它的位置在scrapy.http.JsonRequest。第二种回答，会建议你使用scrapy.Request(url, method=‘POST’, body=json.dumps(xxx))。
HttpClient get、post 请求，抓取网络数据，jar包以及源码
04-24
HttpClient get、post 请求，抓取网络数据，jar包以及源码
Python之scrapy的post请求、日志和代理
Lifelong learning
07-03 4351
1、重写方法： 2、start_requests的返回值： 使用 testpost.py 日志级别：默认的日志等级是DEBUG ，只要出现了DEBUG或者DEBUG以上等级的日志 ，那么这些日志将会打印settings.py文件设置：默认的级别为DEBUG，会显示上面所有的信息。在配置文件中 settings.py1、中，打开选项 2、中使用代理...
Python 爬虫学习笔记（十(5)）scrapy的POST请求
湫兮如风i的博客
03-26 2270
scrapy进行POST请求的详解
scrapy基础知识之发送POST请求
zhengxiangwen的专栏
07-20 1万+
可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的url。 例如： class mySpider(scrapy.Spider): # start_urls
2024年Python最全【Python】循环结构：for-in循环（亦即for循环）(1)，阿里专场面试
最新发布
2401_84138927的博客
05-03 736
print(‘早上好！’)for循环应用🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
Scrapy框架 -- POST请求实现案例
Web安全工具库
04-23 311
六、如果首页地址是get请求，解析内容用到了POST请求，可以在psrse里面再进行post操作。一、创建一个Scrapy项目fanyi，并进入该项目创建，fanyipc爬虫文件。二、修改配置文件settings，关闭君子协议，只看报错信息，自定义UA头。三、分析目标网址，用的POST请求。四、重写父类方法实现POST请求。
scrapy发起post请求,模拟登录github
qq_63713328的博客
11-10 502
scrapy发起post请求,以及发起post请求表单数据的抓取方式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值