Scrapy部署到Scrapyd服务器

1.环境搭配

• 1.1安装scrapyd pip install scrapyd
• Scrapyd是一个服务，用来运行scrapy爬虫的
• 它允许你部署你的scrapy项目以及通过HTTP
• JSON的方式控制你的爬虫 官方文档：http://scrapyd.readthedocs.org/

DOS 成功样例

可视化成功样例

输入 url: http://127.0.0.1:6800/

• 1.2安装Scrapy-client pip install scrapy-client
• scrapy-client 相当于一个客户端
• 它允许我们将本地的scrapy项目打包发送到scrapyd 这个服务端

2.部署

• 部署Scrapyd

• 首先进入Scrapy框架的根目录，里面有一个scrapy.cfg文件

• 本scrapy项目叫 demo
  

• 修改scrapy.cfg文件

• 首先将url的注释去除，url，就是我们要将scrapy部署到的服务器地址

• 随后将 [deploy] 改为 [deploy:scrapyd1]，这里需要注意的是scrapyd1是我们自己定义的，任意均可。

• 进入D:\ProgramData\Anaconda3\Scripts（python安装的地址）

• 在此目录下创建文件 scrapyd-deploy.bat

• 文件的内容为（内容中的D:\ProgramData\Anaconda3请大家根据自己情况进行更改）

@echo off
"D:\ProgramData\Anaconda3\python.exe" "D:\ProgramData\Anaconda3\Scripts\scrapyd-deploy" %*

运行

• 1 首先运行scrapyd
  
• 2 进入爬虫的根目录运行 scrapyd-deploy scrapyd1 -p xlwb
• scrapyd1是我们之前定义的 [deploy:scrapyd1]
• xlwb 是自己命名
• 如何进入的不是爬虫的根目录执行此操作出现的情况为
  Error: no Scrapy project found in this location
• 根目录执行效果为
  
  此时我们已然成功的将