爬虫案例：requests,lxml,xpath 爬取豆瓣电影新片上映

第一步

          确定你想要爬取的数据网站网址,,今天我想要爬取豆瓣电影的正在热映的电影,全部正在热映的电影,所以从豆瓣网站中观察全部热映的电影,从豆瓣主url,找到下面的全部热映电影的url

      正在热映的电影信息,但是下面有一个问题,电影不全,有个更多电影,发现点一下url,没变但是加载全部了,所以咱们可以从这个url得到想找的网页了

     看见没,鼠标放在上面直接有数据,然后查看源代码,哎,有数据啊,方便,无脑Xpath,就行了,

第二步

观察网页源代码,发现网页源代码中数据都在,OK,按属性按特征提取呗

第三步

上代码

# coding=utf-8
import requests
from lxml import etree
#导入相应的库
#1.将目标网页抓取下来
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
                'AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/70.0.3538.77 Safari/537.36',
    'Referer': 'https://movie.douban.com/'}
#加入请求头
url = 'https://movie.douban.com/cinema/nowplaying/beijing/'
#电影url
res = requests.get(url,headers=headers)
#请求url
text = res.text
#定义一下text变量
html = etree.HTML(text)

ul = html.xpath("//ul[@class='lists']")[0]

# print(etree.tostring(ul,encoding='utf-8').decode('utf-8'))

lis = ul.xpath(".//li")
movies = []
for li in lis:
    # print(etree.tostring(li,encoding='utf-8').decode('utf-8'))
    title = li.xpath("@data-title")
    score = li.xpath("@data-score")
    duration = li.xpath("@data-duration")
    region = li.xpath("@data-region")
    director = li.xpath("@data-director")
    actors = li.xpath("@data-actors")
    photos = li.xpath(".//img/@src")

    movie = {
        'title': title,
        'score':score,
        'duration':duration,
        'region':region,
        'director':director,
        'actors':actors,
        'photos':photos
    }
    movies.append(movie)


    if movie['title']:
        print(movie)
    else:
       continue