zi__you-CSDN博客

原创【Python网络爬虫笔记】14-使用代理绕过访问限制

代理服务器（Proxy Server）是位于客户端和目标服务器之间的中间服务器。当我们通过代理服务器发送请求时，目标服务器看到的是代理服务器的IP地址，而不是我们的真实IP地址。这样，代理服务器可以起到隐藏真实IP、缓存数据、过滤内容等作用。在Python网络爬虫中使用代理是一个非常实用的技巧，可以帮助我们隐藏真实IP、绕过访问限制、提高爬取效率等。本文介绍了代理的基本概念、类型以及在Python中使用代理的方法，并通过一个典型案例演示了如何在实际项目中应用代理。希望这些内容对大家有所帮助！

2025-02-26 11:53:11 1528

原创【Python网络爬虫笔记】12- Xpath快速爬取汽车之家2024年最新二手车信息

本文将深入介绍如何使用Python结合XPath来爬取汽车之家二手车信息，包括对汽车之家二手汽车网站的HTML结构解析。

2024-12-13 12:56:45 1834

原创【Python网络爬虫笔记】11- Xpath精准定位元素

Xpath，能够帮助开发者从复杂的网页结构中精准地提取所需信息。本文将深入探讨 Xpath 在 Python 网络爬虫中的作用、常用方法、安装与使用步骤以及典型案例。

2024-12-13 10:53:51 2197

原创【Python网络爬虫笔记】10- os库存储爬取数据

python网络爬虫中的os库：操作系统交互、环境变量操作、进程管理相关。在网络爬虫中使用 os 库来创建用于存储爬取数据的文件夹，或者获取当前工作目录的路径，以便将爬取的数据存储在合适的位置。

2024-12-12 09:44:14 855

原创【Python网络爬虫常见问题汇总】

许多网站的防盗链机制会检查Referer字段，确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值，例如将其设置为图片所在页面的 URL。当在爬取图库图片时遇到 403 错误（通常表示禁止访问，可能是由于图片防盗链机制）修改后的代码增加了headers。

2024-12-10 15:04:09 1815

原创【Python网络爬虫笔记】9- 抓取优美图库2024年最新高清壁纸

抓取优美图库高清壁纸，1. 获取主页面源代码，拿到子页面的链接地址2. 通过href拿到子页面的内容，从子页面找到图片的下载地址3. 下载图片4.此处解决了图片防盗链的问题。

2024-12-10 15:00:50 601

原创【Python网络爬虫笔记】8- （BeautifulSoup）抓取电影天堂2024年最新电影，并保存所有电影名称和链接

使用BeautifulSoup简化代码，在复杂的网页结构中找到所需的元素。抓取2024年最新电影链接，并保存所有电影信息和链接。

2024-12-03 14:37:37 1596

原创【Python网络爬虫笔记】7-网络爬虫的搜索工具re模块

在 Python 中，re模块提供了对正则表达式操作的支持，包括等功能，使得在网络爬虫中方便地运用正则表达式来处理抓取到的数据。

2024-12-02 11:36:23 1197

原创【Python网络爬虫笔记】6- 网络爬虫中的Requests库

是一个用 Python 语言编写的、简洁且功能强大的 HTTP 库。它允许开发者方便地发送各种 HTTP 请求，如 GET、POST、PUT、DELETE 等，并且可以轻松地处理请求的响应。这个库在 Python 生态系统中被广泛使用，无论是简单的网页数据获取，还是复杂的网络服务交互场景都能发挥作用。

2024-11-30 20:04:57 907

原创【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

【代码】【Python网络爬虫笔记】4-(Request 带参数的get请求) 爬取豆瓣电影排行信息。

2024-11-30 19:51:29 1456

原创【Python网络爬虫笔记】4-（Requests post请求）爬百度翻译结果

【Python网络爬虫笔记】4-（Request post请求）爬百度翻译结果。

2024-11-29 16:18:23 838

原创【Python网络爬虫笔记】3-（Requests模块）爬百度搜索结果

Requst入门，通过输入关键字，发送get请求，爬百度搜索结果。

2024-11-29 13:53:24 920

原创【Python网络爬虫笔记】2-HTTP协议中网络爬虫需要的请求头和响应头内容

HTTP（Hyper Text Transfer Protocol）即超文本传输协议，是用于从万维网（WWW）服务器传输超文本到本地浏览器的传送协议，直白点儿，就是浏览器和服务器之间的数据交互就是通过 HTTP 协议进行的。

2024-11-29 13:02:17 1232

原创【Python网络爬虫笔记】1-爬取豆瓣排名前250的电影信息，输出到本地文件。报错： urllib.error.HTTPError: HTTP Error 418

Python 3里面字符串的默认编码是Unicode的，爬取的网页内容，是储存在字符串变量里。而使用代码创建TXT时，Windows下面新建的文本文件默认的编码是gbk（Windows简体中文版的系统默认编码就是gbk）。需求：输入douabo.com/top250，爬取前5页，输出到本地。原因分析：有反爬虫机制，直接爬取会被拦截，要模拟浏览器访问。软件版本：python-3.13.0-amd64。编程软件：VS code。打开文件时，指定编码格式。

2024-11-28 16:08:23 531 2

原创【快速小项目】蛋糕商城首页展示

后端：Spring Boot + mybatis plus。前端：Vue3+element plus +axios。

2024-10-29 11:18:48 1090

原创 13图书归还-云图书管理系统（Vue3+Spring Boot+element plus）

【代码】13图书归还-云图书管理系统（Vue3+Spring Boot+element plus）

2024-10-17 18:49:11 963

原创 12 Maven项目打包运行

点击右侧Maven工具，注意进行clean、validate、compile、package。打开jar包所在路径运行jar包。

2024-10-17 11:38:39 526

原创 11 图书借阅功能实现（Vue3+element plus +Spring Boot）

普通用户借阅图书，点击借阅按钮，修改图书状态，最多能够借阅3本图书。点击借阅，实现对应代码。

2024-10-16 15:07:13 1066

原创 10用户管理（Vue3+Spring Boot）

目录1. 功能描述2. 接口地址3.后台Java代码4.前端框架搭建：views/user添加UserManageVue组件5. api/user.js中写请求接口代码6 获取用户信息7 删除用户8 修改状态9 效果演示1. 功能描述用户管理界面，对用户进行查询、状态变更、删除。2. 接口地址### 获取用户列表GET http://localhost:8082/user/allUser### 修改用户状态PUT http://localhost:8082/user/updateStatu

2024-10-16 12:26:33 1440

原创 9 管理员功能-修改图书

请求路径：http://localhost:8082/book/updateBook请求方式：PUT接口描述：提交登录的token信息，要求为管理员权限，根据获取的bookId来修改指定的图书相关信息。请求参数：postman中使用 raw 模式，提交JSON格式请求体。

2024-10-15 14:26:04 1152

原创 8 管理员功能-删除图书

管理员删除图书功能，前后端联调 Vue3.js+element plus+Sping boot

2024-10-15 13:34:47 415

原创 7 管理员功能-新增图书

功能演示视频CSDN无法上传，点击如下连接。

2024-10-13 20:43:15 864

原创 6云图书管理系统-图书展示

1 /src/store中新增userInfo.js，用于保存用户的登录信息import { defineStore } from "pinia"import { ref } from 'vue'export const userInfoStore = defineStore('userInfo', () => { //1.定义用户信息 const info = ref({}) const isAdmin = ref(false) //2.定义修改用户信息的方法

2024-10-13 20:31:16 1654

原创 5 首页框架及路由配置

首页框架布局和子路由配置

2024-10-13 19:56:49 1520 1

原创 4 登录接口实现（Vue3+Spring boot+mysql）

【代码】4 登录接口实现（Vue3+Spring boot+mysql）

2024-10-11 09:20:12 875

原创 3 注册接口实现

Vue3 +SpringBoot，注册功能实现，基于axios请求。

2024-10-10 15:16:11 790

原创 2 登录注册组件

1. 在views目录下新建Login.vue2. 在views/Login.vue中添加如下代码创建登录注册界面<script setup>import { User, Lock } from '@element-plus/icons-vue'import { ref } from 'vue'import { ElMessage } from 'element-plus'//用于注册的数据模型const registerData = ref({ username: '

2024-10-09 14:43:05 1268 1

原创 1 项目创建

使用阿里定制的cnpm命令行工具代替默认的npm，输入以下代码。

2024-10-09 14:38:35 732

原创【computed计算属性】聊天信息检索

定义要检索的字符v-model绑定数据计算属性（列表显示的数据随文本框的变化而变化）// 1、定义一个动态显示的消息数据计算属性//我要做的事情=null) {// 如果不为空，就在messages的content_chat中查询是否存在“妖怪”这个字符串，存在就返回} else {// 如果searchString文本框为空 showMessages就是messages})最后列表渲染showMessages计算属性的内容。

2024-05-31 09:50:04 213