google爬取搜索结果

前几天渗透一个网站，google搜索的时候，发现300多名账号
于是就寻思着爬下来，爬虫google，嘿，没干过，之前都是爬一些小网站，图片那啥的。这次不仅要爬取页面内容，还要调用google搜索。一起来看看有哪些问题要克服吧

google的反爬虫技术也是蛮厉害的。你有没有遇到过一种情况，当你连续快速搜索的时候，或者当你使用inurl:, insite: 等搜索语法过多的时候，google会出现验证码。

那种情况就是你的ip被记录了，或者你搜索的行为被记住了。什么是行为被记住了呢，正常人搜索是大概率不会用到搜索语法的，一个人使用搜索语法并且很频繁，就非常有可能被当作机器对待。

针对这种反爬虫的情况，主要有一下几个策略：
1.使用代理
每发出一个请求的时候就随机使用一个代理
2.更换请求的user-agent

3.更换搜索的google域名
经常搜索的域名有www.google.com殊不知，google还有不下200个域名提供搜索
4.更换cookie
发包的时候动态设置cookie

以上都做到了，就可以爬取google的信息了，加油少年。
工具链接