Python爬虫爬取笔趣阁小说，并且保存到TXT文件！

最新推荐文章于 2025-05-15 17:09:01 发布
最新推荐文章于 2025-05-15 17:09:01 发布
阅读量3.3k 收藏 44
点赞数 38
CC 4.0 BY-SA版权
文章标签： python 开发语言 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Python_Alex/article/details/140047644

   我写的这篇文章，是利用Python爬取小说编写的程序，这是我学习Python爬虫当中自己独立写的第一个程序，中途也遇到了一些困难，但是最后迎刃而解了。这个程序非常的简单，程序的大概就是先获取网页的源代码，然后在网页的源代码中提取每个章节的url，获取之后，在通过每个url去获取文章的内容，在进行提取内容，然后就是保存到本地，一TXT的文件类型保存。
大概是这样
1：获取网页源代码
2：获取每章的url
3：获取每章的内容
4：下载保存文件中

1、首先就是先安装第三方库requests,这个库，打开cmd，输入pip install requests回车就可以了，等待安装。然后测试

1

import resquests

　

2、然后就可以编写程序了，首先获取网页源代码，也可以在浏览器查看和这个进行对比。

1

2

3

4

s = requests.Session()

url = 'https://www.xxbiquge.com/2_2634/'

html = s.get(url)

html.encoding = 'utf-8'

　　

运行后显示网页源代码

按F12查看

说明这是对的，
3、然后进行获取网页源代码中的每章url，进行提取

1

2

caption_title_1 = re.findall(r'<a href="(/2_2634/.*?\.html)">.*?</a>',html.text)

print(caption_title_1)

　　

由于过多，就剪切了这些，看到这些URL，你可能想问为什么不是完整的，这是因为网页中的本来就不完整，需要进行拼凑得到完整的url

这样就完成了，就可以得到完整的了


4、下面就是获取章节名，和章节内容

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#获取章节名

 name = re.findall(r'<meta name="keywords" content="(.*?)" />',r1.text)[0]         # 提取章节名

 print(name)

  

 file_name.write(name)

 file_name.write('\n')

 # 获取章节内容

 chapters = re.findall(r'<div id="content">(.*?)</div>',r1.text,re.S)[0]            #提取章节内容

 chapters = chapters.replace(' ', '') # 后面的是进行数据清洗

 chapters = chapters.replace('readx();', '')

 chapters = chapters.replace('& lt;!--go - - & gt;', '')

 chapters = chapters.replace('<!--go-->', '')

 chapters = chapters.replace('()', '')

　　

5、转换字符串和保存文件

1

2

3

4

5

6

7

8

9

10

11

12

13

# 转换字符串

   s = str(chapters)

   s_replace = s.replace('<br/>',"\n")

   while True:

       index_begin = s_replace.find("<")

       index_end = s_replace.find(">",index_begin+1)

       if index_begin == -1:

           break

       s_replace = s_replace.replace(s_replace[index_begin:index_end+1],"")

   pattern = re.compile(r' ',re.I)

   fiction = pattern.sub(' ',s_replace)

   file_name.write(fiction)

   file_name.write('\n')

　　

6、完整的代码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

import requests

import re

s = requests.Session()

url = 'https://www.xxbiquge.com/2_2634/'

html = s.get(url)

html.encoding = 'utf-8'

# 获取章节

caption_title_1 = re.findall(r'<a href="(/2_2634/.*?\.html)">.*?</a>',html.text)

# 写文件

path = r'C:\Users\Administrator\PycharmProjects\untitled\title.txt'     # 这是我存放的位置，你可以进行更改

file_name = open(path,'a',encoding='utf-8')

# 循环下载每一张

for i in caption_title_1:

   caption_title_1 = 'https://www.xxbiquge.com'+i

   # 网页源代码

   s1 = requests.Session()

   r1 = s1.get(caption_title_1)

   r1.encoding = 'utf-8'

   # 获取章节名

   name = re.findall(r'<meta name="keywords" content="(.*?)" />',r1.text)[0]

   print(name)

   file_name.write(name)

   file_name.write('\n')

   # 获取章节内容

   chapters = re.findall(r'<div id="content">(.*?)</div>',r1.text,re.S)[0]

   chapters = chapters.replace(' ', '')

   chapters = chapters.replace('readx();', '')

   chapters = chapters.replace('& lt;!--go - - & gt;', '')

   chapters = chapters.replace('<!--go-->', '')

   chapters = chapters.replace('()', '')

   # 转换字符串

   s = str(chapters)

   s_replace = s.replace('<br/>',"\n")

   while True:

       index_begin = s_replace.find("<")

       index_end = s_replace.find(">",index_begin+1)

       if index_begin == -1:

           break

       s_replace = s_replace.replace(s_replace[index_begin:index_end+1],"")

   pattern = re.compile(r' ',re.I)

   fiction = pattern.sub(' ',s_replace)

   file_name.write(fiction)

   file_name.write('\n')

file_name.close()

　　

7、修改你想要爬取小说url后再进行运行，如果出现错误，可能是存放位置出错，可以再保存文件地址修改为你要存放的地址，然后就结束了

 

 最后：如果你对Python感兴趣，想要学习Python，希望可以帮到你，一起加油！以上是给大家分享的Python全套学习资料，都是我自己学习时整理的：

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

图片

图片

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，还有环境配置的教程，给大家节省了很多时间。

图片

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

图片

四、入门学习视频全套

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

图片

图片

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

图片

图片

 **学习资源已打包，需要的小伙伴可以戳这里：【学习资料】

Python_Alex
关注
python爬取笔趣阁
singlezzz的博客
05-29 2747
闲来无事，看到别人爬取笔趣阁，我也来试试。 首先打开笔趣阁网站 随便找本书看看 先查看网页源码，发现 这里显示的章节都可以从源码中找到 随便找个链接点进去发现是每一个章节。然后对章节查看源码，发现是静态网页。 由是开始撸代码 不过我不是通过这种方法写的，我是根据第一章的下一章的链接爬取，通过不断循环。代码如下： 前面常规操作就不写注释了。 主入口 小白一枚，代码有点丑，，， 大佬勿喷。 import requests import parsel def get_response(url):
python爬取小说并存储为txt文件
SimonLiu的博客
05-30 2010
使用python爬取小说并存储为txt文件
Python爬取笔趣阁小说（新手可入~）
fffyyyhhh12的博客
04-10 3267
使用Beautiful Soup解析网页代码。这里我们用Beautiful Soup来提取。因此对网址加个for循环就可以提取多章小说了。一个简单的爬取，完整代码放在最后~~~点击第一篇文章，按F12进入开发者模式。为了防止文字乱码，还要对其进行转化格式。选择NetWork找到代理服务器。最后将内容写入文本文件。
零基础也能玩转！手把手教你用Python爬取网络小说（附实战代码）
最新发布
laowangpython的博客
05-15 481
这次我们实现了：✅ 自动抓取小说目录✅ 批量下载章节内容✅ 解决中文编码问题✅ 应对基础反爬措施完整代码已打包，关注后私信我发"小说爬虫"获取（附带10个常见小说网站的适配方案）！下期预告：《用爬虫+数据分析找出网文爆款规律》…（本文代码仅供学习交流，请于24小时内删除爬取内容，请支持正版阅读！
简单上手Python爬虫实战：笔趣阁小说爬取
2301_77408198的博客
04-06 3775
这一篇博客主要是对于刚学完request库想要找实战练习的小伙伴的，同时也希望大家取学习一下异步的概念，本次代码还运用到了线程池和xpath，有人说为啥不用协程，协程的话当时欧还没学，所以就拿线程池练练手了，现在分享给大家，希望对你们有所帮助。
笔趣阁小说爬虫
11-12 369
var https=require('https');var fs = require('fs'); //文件模块var iconv = require('iconv-lite');var cheerio = require('cheerio');// 章节目录页面地址https.get('https://www.bequge.com/11_11694/',function(res){ ...
python爬虫篇（项目案列讲解-爬取小说）
m0_65482549的博客
06-24 4429
学习一下思路：1.我们进入需要爬取到的小说界面，右键开发者工具 ，选中元素显示，然后找到需要爬取的小说章节模块在代码中的位置。将a标签中的文本内容复制，然后ctrl+u打开源代码 ctrl+f将刚刚的文本内容复制查找是否有这个模块。（比较爽的是，刚好这里有，可以不需要去查看网络请求和script代码了）那么我们现在可以可以来获取源代码了编码格式的查看方式。获取源代码之后，我们现在需要去解析一下这串源代码。
Python爬虫-笔趣阁小说爬虫-自动爬取小说
01-10
在爬取笔趣阁小说时，首先需要使用requests的get()函数，向小说的URL发送请求，获取网页源代码。 ```python import requests url = "http://www.biquge.com/小说目录页" # 小说的URL response = requests.get(url)...
python爬取小说爬取_用python爬取笔趣阁小说
weixin_42110533的博客
02-04 1271
原标题：用python爬取笔趣阁小说首先打开笔趣阁网址，链接，搜索自己想要的小说。在网站内单击右键，点击检查，会出现如下界面! 我们需要的章节信息就在我划的这块，可以将每个标签点一下，它对应的内容就会在网站里高亮。如图，我现在点到了第一章的章节信息，它里面包含了，每一章的链接与名称。 现在我们就可以用xpath来从这标签中获得每一章的链接和名称。 import requests,osfrom lx...
Python爬虫笔趣阁小说宝库 -文学资源采集器
12-29
笔趣阁小说宝库是一款专为文学爱好者和数据分析师设计的Python爬虫工具，旨在一键下载和管理笔趣阁网站上的小说资源。该工具能够自动解析网页，提取小说的章节内容，并将其保存为TXT等常见电子书格式。它支持批量...
python爬取笔趣阁小说
uukuvv的博客
04-20 2038
笔趣看是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。所以可以通过python爬取文本信息保存，从而达到下载的目的 以首页的《一念永恒》作为测试： 1、先查看第一章地址中的html文本：https://www.biqukan.com/1_1094/5403177.html 通过requests库...
Python 爬虫复习之爬取笔趣阁小说网站（不用正则）
Wang Gangdan的博客
02-28 7873
前言 小说网站-笔趣阁：URL：https://www.qu.la/ 笔趣阁是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。因此，本次实战就是从该网站爬取并保存一本名为《终极斗罗》的小说，该小说是唐家三少正在连载中的一部玄幻小说。 PS：本实例仅为交流学习，支持唐三大大，请上起点中文网订阅。 ...
Python爬取笔趣阁小说（仅供学习使用）
MinL1ghT的博客
06-14 724
首先，确保安装'requests'和'beautifulsoup4'库，若未安装在cmd运行以下命令。
用python60行代码写一个简单的笔趣阁爬虫
热门推荐
Six23333的博客
01-11 1万+
系列文章目录 python爬虫实战——爬取淘宝商品信息并导入EXCEL表格（超详细） python多线程爬取壁纸 妈妈再也不担心我没壁纸了！. python爬虫爬取虎牙数据（简单利用requests库以及Beautifulsoup）. python爬虫之爬取壁纸（新手入门级）. python爬虫实战——爬取猫眼电影TOP100并导入excel表 文章目录系列文章目录前言一、网页解析二、代码填写1.获取Html及写入方法2.其余代码总结 前言 利用python写一个简单的笔趣阁爬虫，根据输入的小说
Python爬虫抓取笔趣阁小说（含源码）
蟒蛇小码农的博客
07-12 4801
每一章节对应的链接所在的结构都是一样的，全部存在于dl->dt->dd->a->href 所以我只需要获取全部的dd标签，然后一个for循环遍历所有的dd标签，然后内部再写一个for循环，即可获取正本书籍。我们需要的小说，所以现在我们需要解析note，通过下面的信息，我们可以发现需要的文字在一个div中的文字形式，所以直接解析获取文本即可。Python所有方向的技术点做的整理，形成各个领域的知识点的汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。编码格式的查看方式。
【Python爬虫实战入门】：笔趣阁小说爬取，一篇教你爬虫入门
书山有路勤为径，学海无涯苦作舟。
07-16 6159
requests简介requests模块官方文档requests 是 Python 编程语言中一个常用的第三方库，它可以帮助我们向 HTTP 服务器发送各种类型的请求，并处理响应。向 Web 服务器发送 GET、POST 等请求方法；在请求中添加自定义标头（headers）、URL 参数、请求体等；自动处理 cookies；返回响应内容，并对其进行解码；处理重定向和跳转等操作；检查响应状态码以及请求所消耗的时间等信息。
爬取笔趣阁小说
qq_57344778的博客
03-12 2644
用python的xpath爬取笔趣阁小说。
笔趣阁爬虫
黄朝阳的博客
05-19 992
代码简介 代码由来：闲来无聊，写了一个笔趣阁（https://www.xuliehao.org）的小说爬取 爬去到的小说直接存储在同文件目录下 使用前提 在同目录下需要有一个存储有ip的“代理.txt”文件，ip格式如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p3GZHZ0Q-1589897219768)(C:\Users\黄金\Desktop\爬虫\ip.png)] 此爬虫采取了IP代理的方式防止被服务器发现 使用方式 手动将第一个url改为封面链接即可 代码如下：
Python爬虫爬取笔趣阁
10-16
Python爬虫用于从网站上抓取数据，包括文本、图片等信息。如果你想爬取笔趣阁这类小说网站的数据，首先需要了解其网页结构，通常这种类型的网站会有分页、章节列表等布局。以下是使用Python爬虫如`requests`库获取HTML内容的大致步骤： 1. **导入所需库**： ```python import requests from bs4 import BeautifulSoup ``` 2. **发送GET请求获取HTML**： ```python url = 'https://www.biquge.com.cn/' # 笔趣阁首页或其他章节页面URL response = requests.get(url) if response.status_code == 200: html_content = response.text else: print("请求失败") ``` 3. **解析HTML内容**： ```python soup = BeautifulSoup(html_content, 'html.parser') # 使用BeautifulSoup解析HTML，提取你需要的信息，如章节链接或标题 chapters = soup.find_all('a', class_='chapter') # 这里的类名假设是获取章节链接的部分 ``` 4. **遍历获取数据**： ```python for chapter in chapters: link = chapter['href'] # 获取每个章节的链接 title = chapter.text.strip() # 获取章节标题 # 对于每个链接，你可以进一步发送请求并处理新的HTML内容 ``` 5. **保存或处理数据**： 将爬取到的数据存储到文件、数据库或进行后续分析。 **注意事项**： - 爬虫应遵守目标网站的robots.txt规则，并尊重版权。 - 频繁的高频率请求可能会导致IP被封禁，所以可以设置合适的延迟或使用代理IP。 - 有些网站有反爬机制，可能需要使用更复杂的解决方案，比如设置User-Agent、模拟登录等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值