
Java爬虫
honder试试
这个作者很懒,什么都没留下…
展开
-
Java爬虫系列一:写在开始前
最近在研究Java爬虫,小有收获,打算一边学一边跟大家分享下,在干货开始前想先跟大家啰嗦几句。 一、首先说下为什么要研究Java爬虫 Python已经火了很久了,它功能强大,其中很擅长的一个就是写爬虫程序。作为一名Javaer,想要写爬虫的话难道要学习python吗? 想到这个问题我去度娘了下,其实java也可以写爬虫,只是需要的代码行数要比python多。但是用java写就不需要专门为了爬...原创 2019-07-12 16:33:11 · 212 阅读 · 0 评论 -
Java爬虫系列二:使用HttpClient抓取页面HTML
爬虫要想爬取需要的信息,首先第一步就要抓取到页面html内容,然后对html进行分析,获取想要的内容。上一篇随笔《Java爬虫系列一:写在开始前》中提到了HttpClient可以抓取页面内容。 今天就来介绍下抓取html内容的工具:HttpClient。 围绕下面几个点展开: 什么是HttpClient HttpClient入门实例 复杂应用 结束语 一、什么是...原创 2019-07-15 08:48:53 · 319 阅读 · 0 评论 -
Java爬虫系列三:使用Jsoup解析HTML
在上一篇随笔《Java爬虫系列二:使用HttpClient抓取页面HTML》中介绍了怎么使用HttpClient进行爬虫的第一步--抓取页面html,今天接着来看下爬虫的第二步--解析抓取到的html。 有请第二步的主角:Jsoup粉墨登场。下面我们把舞台交给Jsoup,让他完成本文剩下的内容。 ============华丽的分割线============= 一、Jsoup自我介绍 大家好...原创 2019-07-15 08:49:36 · 337 阅读 · 0 评论 -
Java爬虫系列之实战:爬取酷狗音乐网 TOP500 的歌曲(附源码)
在前面分享的两篇随笔中分别介绍了HttpClient和Jsoup以及简单的代码案例: Java爬虫系列二:使用HttpClient抓取页面HTML Java爬虫系列三:使用Jsoup解析HTML 今天就来实战下,用他们来抓取酷狗音乐网上的 Top500排行榜音乐。接下来的代码中除了会用到HttpClient和Jsoup之外,还会用到log4j和ehcache,分别用来记录日志和实现缓存,如果看...原创 2019-07-15 08:49:24 · 2454 阅读 · 16 评论