本文介绍了如何使用Python Scrapy、BeautifulSoup和Requests库爬取京东商城的商品信息。通过分析网页结构和AJAX请求，抓取了每条商品的详细数据，包括前30条和通过AJAX加载的后30条。文章还涉及了参数获取、图片URL抓取及多线程爬取以提高效率，最终将数据存储到MySQL数据库。
前言：
本文主要介绍的是利用python爬取京东商城的方法，文中介绍的非常详细，下面话不多说了，来看看详细的介绍吧。
主要工具
- scrapy
- BeautifulSoup
- requests
分析步骤
1、打开京东首页，输入裤子将会看到页面跳转到了这里，这就是我们要分析的起点
2、我们可以看到这个页面并不是完全的，当我们往下拉的时候将会看到图片在不停的加载，这就是ajax,但是当我们下拉到底的时候就会看到整个页面加载了60条裤子的信息，我们打开chrome的调试工具，查找页面元素时可以看到每条裤子的信息都在<li class='gl-item'></li>这个标签中，如下图：
3、接着我们打开网页源码就会发现其实网页源码只有前30条的数据，后面30条的数据找不到，因此这里就会想到ajax，一种异步加载的方式，于是我们就要开始抓包了，我们打开chrome按F12，点击上面的NetWork,然后点击XHR,这个比较容易好找,下面开始抓包，如下图：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
