1.check:
功能:测试url是否已经在hashTable中,不在则加入相应的队列。
实现:如果不在,则hash数量加1。
如果是SpecificSearch,则判断文件是否是感兴趣的类型
是的话则加入URLsPriority这个同步队列中;
不是的话,则加入URLsDisk这个持久化的队列中;
如果不是,则直接都加入URLsDisk这个持久化的队列中;
如果在,则回答特定信号,并且删除此url。
功能:测试url是否已经在hashTable中,不在则加入相应的队列。
实现:如果不在,则hash数量加1。
如果是SpecificSearch,则判断文件是否是感兴趣的类型
是的话则加入URLsPriority这个同步队列中;
不是的话,则加入URLsDisk这个持久化的队列中;
如果不是,则直接都加入URLsDisk这个持久化的队列中;
如果在,则回答特定信号,并且删除此url。
2.filter1:
功能:过滤掉配置文件larbin.conf中指定的host域和文件类型。
实现:global中的domains是禁止的域,如果host与某个匹配上了,则返回false;
global中的forbExt是禁止的文件类型,如果文件与某个类型匹配上了,则返回false。
htm、html、和‘\’这三种文件类型不能被禁止。
而前面提到的两个禁止数组,在global中被从文件中载入。