python爬虫入门

  Deep Web 是那些大部分内容不能通 过静态链接获取的、隐藏在搜索表单后 的，只有用户提交些关键词才能获得 的Web 页面。

  Deep Web 爬虫爬行过程中最重要部 分就是表单填写，包含两种类型：

1) 基于领域知识的表单填写 

2) 基与网页结构分析的表单填写

  当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在 robots.txt ，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范 围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令 保护的页面。

robots文件语法

爬虫的基本架构

 二、编写一个简单的爬虫

建立虚拟环境

  首先用conda建立一个名为crawler的python虚拟环境，键入命令

conda create -n crawler python=3.7

 安装好之后激活你的虚拟环境

activate crawler

在新建的虚拟环境下安装以下的包

conda install -n crawler requests
conda install -n crawler beautifulsoup4

在jupyter下切换虚拟环境

首先返回base虚拟环境，在base环境中安装nb_conda

conda install nb_conda

 在conda虚拟环境crawler中安装’ipykernel’

conda install -n crawler ipykernel

 然后打开jupyter

这样就可以在新的虚拟环境下创建项目了

代码实现

在crawler下创建一个项目，在项目中输入以下代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

    soup = BeautifulSoup(r.text, 'html5lib')

    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

# 存放题目
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

运行项目

打开生成的csv文件就可以看到我们爬取的信息了

 

 接着我们来爬取学校新闻网站的信息

信息通知-重庆交通大学新闻网

复制以下代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据

# 所有新闻
subjects = []

# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}

# 表头
csvHeaders = ['时间', '标题']


print('信息爬取中：\n')
for pages in tqdm(range(1, 65 + 1)):
    # 发出请求
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    # 如果请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    # 解析网页
    soup = BeautifulSoup(html, 'html5lib')

    # 存放一条新闻
    subject = []
    # 查找所有li标签
    li = soup.find_all('li')
    for l in li:
        # 查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            # 时间
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            # 标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject = []

# 保存数据
with open('cqjtu_news.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n信息爬取完成！！！')

运行

打开文件，找到我们爬取的信息

三、参考文章

python爬取重庆交通大学新闻网站中近几年所有的信息通知_m0_51120713的博客-CSDN博客