Larbin:checker

本文深入探讨了一种用于测试URL是否存在的智能过滤与检查机制。该机制通过判断URL是否已在hashTable中并进行相应处理,同时实现了针对特定类型的文件进行高效过滤与优先级排序的功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 1.check:
  功能:测试url是否已经在hashTable中,不在则加入相应的队列。
  实现:如果不在,则hash数量加1。
            如果是SpecificSearch,则判断文件是否是感兴趣的类型
                是的话则加入URLsPriority这个同步队列中;
                不是的话,则加入URLsDisk这个持久化的队列中;
            如果不是,则直接都加入URLsDisk这个持久化的队列中;
        如果在,则回答特定信号,并且删除此url。

2.filter1:
   功能:过滤掉配置文件larbin.conf中指定的host域和文件类型。
   实现:global中的domains是禁止的域,如果host与某个匹配上了,则返回false;
         global中的forbExt是禁止的文件类型,如果文件与某个类型匹配上了,则返回false。
         htm、html、和‘\’这三种文件类型不能被禁止。
         而前面提到的两个禁止数组,在global中被从文件中载入。
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值