java htmlunit 简易使用示例（读取网页点击链接）

目录

示例功能：

1.使用htmlunit请求某个网站首页；

2.在首页找到某个链接的DOM；

3.点击它，获取新的响应页面；

示例功能：

htmlunit模拟对网站的连续操作，进入网站首页，寻找固定二级或者多级菜单（链接）点击，作为一个入门教程提供参考。

1.使用htmlunit请求某个网站首页；

初始化请求WebClient对象，然后使用getPage请求某个网址；

//HtmlUnit模拟浏览器
WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true);//启用JS解释器，默认为true
webClient.getOptions().setCssEnabled(false);//禁用css支持                   
webClient.getOptions().setThrowExceptionOnScriptError(false);//js运行错误时，是否抛出异常
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setTimeout(10 * 1000);//设置连接超时时间
//读取首页
HtmlPage index = webClient.getPage("某个网址的首页");

2.在首页找到某个链接的DOM；

需要在首页里找到的DOM对象为为：

<a href="/download_test.html" class="downloadStyle">点击下载</a>

List<HtmlAnchor> ao = index.getByXPath("//a");
HtmlAnchor which = null;
for(HtmlAnchor h :ao) {
    String href = h.getAttribute("href").toString();
    if(href.equals("/download_test.html")) {
//      System.out.println(href);
        which = h;
        break;
    }
}

3.点击它，获取新的响应页面；

定位到需要再次触发操作的DOM（这里就是这个a标签）后，利用htmlunit触发点击事件；

//点击下载按钮
HtmlPage index2 = which.click();

//针对点击后的反馈页面，可以继续进行获取分析，类似首页的操作
//...