Python爬虫实战：利用代理IP获取招聘网站信息（附完整源码）

最新推荐文章于 2025-05-23 09:16:47 发布

algonaut

最新推荐文章于 2025-05-23 09:16:47 发布

阅读量818

点赞数 12

文章标签： python 爬虫 tcp/ip 其他

本文链接：https://blog.csdn.net/algonaut/article/details/148053914

版权

文章目录

一、为什么要用代理IP？

搞爬虫的老铁们都知道（血泪教训），招聘网站的反爬机制简直比丈母娘还严格！当你的请求频率过高时，轻则封IP 24小时，重则直接永久拉黑（别问我怎么知道的）！！！

这里就要祭出我们的保命神器——代理IP！通过轮换IP地址，可以让服务器觉得是不同用户在访问（伪装大师模式启动）。不过要注意：一定要用高匿代理IP（划重点），普通的透明代理根本藏不住你的真实IP！

二、实战前的准备

1. 装备清单

Python 3.8+（建议用最新版本）
requests库（网络请求必备）
BeautifulSoup4（HTML解析神器）
可靠的代理IP服务（推荐青果代理/亮数据）

2. 重点配置

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9'
}

proxies = {
    'http': 'http://username:password@proxy_host:port',
    'https': 'http://username:password@proxy_host:port'
}

（注意替换成你自己的代理信息）

三、实战四步走

步骤1：伪装成浏览器

直接上硬核代码：

def get_html(url):
    try:
        response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
        response.raise_for_status()
        response.encoding = 'utf-8'
        return response.text
    except Exception as e:
        print(f"请求失败：{str(e)}")
        return None

这里用了三个保命符：

随机User-Agent（重要指数⭐⭐⭐⭐⭐）
代理IP设置（防封必备）
异常捕获（程序不崩溃的关键）

步骤2：解析HTML数据

以某招聘网站为例，定位职位信息：

def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')
    jobs = []
    
    for item in soup.select('.job-list li'):
        title = item.select_one('.job-title').text.strip()
        company = item.select_one('.company-name').text.strip()
        salary = item.select_one('.salary').text.strip()
        
        jobs.append({
            '职位': title,
            '公司': company,
            '薪资': salary
        })
    
    return jobs

（不同网站选择器可能不同，F12开发者工具是你的好朋友！）

步骤3：自动翻页技巧

招聘网站一般都有分页，用这个循环搞定：

base_url = 'https://www.example.com/jobs?page={}'
for page in range(1, 11):  # 爬取前10页
    url = base_url.format(page)
    html = get_html(url)
    if html:
        jobs = parse_html(html)
        save_to_csv(jobs)  # 保存数据到CSV
    time.sleep(random.uniform(1, 3))  # 随机延时很重要！

步骤4：数据存储

推荐用CSV格式（Excel直接能打开）：

import csv

def save_to_csv(data):
    with open('jobs.csv', 'a', newline='', encoding='utf-8-sig') as f:
        writer = csv.DictWriter(f, fieldnames=['职位', '公司', '薪资'])
        if f.tell() == 0:
            writer.writeheader()
        writer.writerows(data)

四、避坑指南（必看！）

频率控制：即使使用代理IP，也要设置3-5秒的随机延时（太快会被识别为机器人）
IP质量检测：建议先用免费代理测试，正式运行时使用付费高匿代理
遵守robots.txt：先检查目标网站的爬虫协议（法律红线不能碰！）
数据脱敏：不要爬取个人隐私信息（电话号码、邮箱等）

五、完整源码结构

# 导入库
import requests
from bs4 import BeautifulSoup
import time
import random
import csv

# 请求头配置
headers = {...}

# 代理配置
proxies = {...}

# 获取网页内容
def get_html(url):...

# 解析数据
def parse_html(html):...

# 保存数据
def save_to_csv(data):...

# 主程序
if __name__ == '__main__':
    for page in range(1, 11):
        url = f'https://www.example.com/page/{page}'
        html = get_html(url)
        if html:
            data = parse_html(html)
            save_to_csv(data)
        time.sleep(random.randint(2,5))