我在实现网页去重中遇到一些问题，现在卡壳了。哪位大牛能给我发一份网页去重的源码啊，最好是用java实现的，我的邮箱是freefish_2012@163.com。非常感谢。
1条回答 默认 最新
jiang_hengqiu 2011-06-25 18:47关注你可以到我的博客里面看看那个分页功能的介绍，我想肯定对你有帮助，记得给分哦
http://jianghengqiu.iteye.com/admin本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2025-02-17 17:01这些模块的实现是通过一系列的Java类和接口完成的，其中可能涉及到多线程编程以提升爬虫的效率，数据库编程以优化索引存储，以及网络通信编程实现用户请求的处理和响应。 项目的源码不仅提供了搜索引擎开发的实践...
- 2024-10-30 20:15赫萝的红苹果的博客 之前就有写过实现根据对象的某个字段去重的一个方案，利用Java8的流，不过实际上使用的还是TreeSet。不过，当时对于这个去重原理没有过多深究，只是想着Set结构天生就是去重的，今天再次用到，稍微了解一下原理。
- 2019-03-01 10:31通过查看源码，我们可以学习到如何实现文本去重的核心算法。一般来说，文本去重会涉及到以下几个关键知识点： 1. **哈希函数**：哈希函数是快速定位文本的关键工具，它可以把文本转化为固定长度的哈希值。常见的...
- 2021-04-22 16:16用轮子不造轮子的博客 jvm回收方法区 很多人认为方法区(或者HotSpot虚拟机中的永久代)是没有垃圾收集的,Java虚拟机规范中确实说过可以不要求虚拟机在方法区实现垃圾收集,而且在方法区进行垃圾收集的“性价比”一般比较低:在堆中,尤其是 ....
- 2021-03-08 16:40语文乌托邦的博客 分享给大家供大家参考，具体如下：这里演示Java实现数组去重、排序操作文中的示例源码编写基于Jdk1.6+、junit4.8.2java.util.Arrays.sort()支持对int[],long[],short[],char[],byte[],float[],double[],Object[]进行...
- 2024-04-12 15:50这个Java项目是一个网络爬虫，也称为网络蜘蛛，旨在自动地从互联网上抓取网页内容并进行处理。该网络爬虫具有以下主要功能： 网页抓取：通过指定的起始URL，网络爬虫会递归地抓取网页内容，包括HTML、CSS、...
- 2025-04-18 16:51本项目是使用 Java + Jsoup + 多线程 实现的通用网页爬虫系统，适用于对网页内容（如文本、图片、链接等）进行快速抓取。可作为学习爬虫原理、练习多线程编程、掌握 Jsoup 解析库使用的经典入门实战项目。项目特点：...
- 2022-07-08 08:03卡多希y的博客 HashSet作为Set接口的实现类，它的底层还是基于HashMap来创建的。而HashSet拥有两个特点：1、插入元素的顺序和输出元素顺序与HashSet中的位置不一致。2、HashSet可以保证集合中的元素唯一。这篇文章主要针对HashSet...
- 2021-02-28 11:04白骥的博客 分享给大家供大家参考，具体如下：这里演示Java实现数组去重、排序操作文中的示例源码编写基于Jdk1.6+、junit4.8.2java.util.Arrays.sort()支持对int[],long[],short[],char[],byte[],float[],double[],Object[]进行...
- 2021-05-14 02:17《MinHashJava：Java实现MinHash技术以检测集合相似性》 在计算机科学领域，特别是信息检索、数据挖掘和搜索引擎优化中，计算大规模数据集之间的相似性是一项关键任务。MinHash（最小哈希）是一种有效的近似算法，...
- 没有解决我的问题, 去提问
