re,正则表达式,requests,爬取小猪短租网

学无止境-程序猿

于 2018-11-05 12:32:05 发布

阅读量764

点赞数

分类专栏： Python的爬虫使用案例 Python的常见库使用一只网络上的虫（爬虫实例）文章标签：爬取小猪短租网

本文链接：https://blog.csdn.net/Programmer_huangtao/article/details/83747247

版权

Python的常见库使用同时被 3 个专栏收录

40 篇文章

订阅专栏

Python的爬虫使用案例

34 篇文章

订阅专栏

一只网络上的虫（爬虫实例）

31 篇文章

订阅专栏

本文探讨了在使用Python爬虫抓取房屋租赁网站图片时遇到的问题，包括图片链接为空或返回微信二维码的情况。通过分析代码，提供了解决方案，确保正确抓取图片资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

求助为什么我正则爬取房主图片时,总是为空,要不然就是给微信二维码,让我扫呢?谁能帮下忙?谢谢了!!!!!!!!!


#encoding=utf-8
import requests
from lxml import etree
import re
import time
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
    'AppleWebKit/537.36 (KHTML, like Gecko) '
    'Chrome/70.0.3538.77 Safari/537.36'
}

def page_url(url):
    res = requests.get(url,headers=headers)
    text = res.text
    links = re.findall('<a target="_blank" href="(.*?)" class="resule_img_a">',text,re.S)
    for link in links:
        parse_page(link)

def parse_page(url):
    res = requests.get(url, headers=headers)
    text = res.text
    titles = []
    titles = re.findall('<em>(.*?)</em>',text,re.S)[1]
    addresses = re.findall('<p title="(.*?)">',text,re.S)
    prices = re.findall('<div class="day_l">.*?<span>(.*?)</span>',text,re.S)

    imgs = re.findall('<a.*?><img src="(.*?)" alt=".*?">.*?</a>',text,re.S)
    # print(imgs)
    names = re.findall('<a class="lorder_name" href=".*?" title=".*?" target="_blank">(.*?)</a>',text,re.S)
    titles = titles
    for title, address, price,name in zip(titles, addresses, prices,names):
        data = {
            '屋子标题': titles,
            '地址': address,
            '价格': price,
            '名字': name
        }
        print(data)




if __name__ == '__main__':
    urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format
            (x)  for x in range(1,14)]
    for url in urls:
        page_url(url)
        time.sleep(2)