使用HttpComponents(即HttpClient)抓取数据

最新推荐文章于 2021-07-11 18:59:02 发布

highcoder

最新推荐文章于 2021-07-11 18:59:02 发布

阅读量1.5k

点赞数

分类专栏：开发小点滴文章标签： HttpCompon 爬虫数据抓取新手

本文链接：https://blog.csdn.net/highcoder/article/details/49790633

版权

开发小点滴专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何利用HttpComponents工具包抓取网页数据。HttpComponents是一个模拟HTTP请求的库，使得开发者能方便地与远程资源进行交互。数据抓取的基本步骤包括创建连接对象、构造请求、执行请求和解析返回数据。示例代码展示了如何发起GET请求到网易网站。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在平时的项目开发中,我们很多时候会需要别的网站的一些信息,但是对方不太可能专门为我们开发一个专用接口,这时候,我们就需要使用HttpComponents来将对方网站的信息抓取下来,方便我们业务上使用.

那这个HttpComponents是什么呢?HttpComponents是一款用来模拟http请求的工具包,通过它,我们很方便地以http和其他程序通讯,而无需关注底层,如socket的实现.简单说,就是通过HttpComponents,我们可以像一个浏览器一样,向任何我们想访问的资源发出请求.

那么废话少说我们怎么用呢?

一般来说,数据抓取按流程可以切分为如下步骤:创建连接对象–>构造请求数据–>执行请求–>获取返回数据,只要数据抓取回来,你就可以按照指定规则对数据进行处理.

例子代码如下:

@Override
public FetchMessage fetch() {
CloseableHttpClient client = null;
HttpGet httpGet;
HttpResponse response;
HttpEntity entity = null;
String url = “http://www.163.com/“;

try {
            // 创建连接
            client = HttpClients.createDefault();

            // 创建访问方法
            httpGet = new HttpGet();
            httpGet.setURI(new URI(url));
            // 获得响应
            response = client.execute(httpGet);
            entity = response.getEntity();
            String html = EntityUtils.toString(entity, "UTF-8");

        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (entity != null) {
                try {
                    EntityUtils.consume(entity);
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }

            if (client != null) {
                try {
                    client.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }

        }
        }