GeekLee的博客

Python的urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。他们两个最显著的差异如下：urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。这意味着，你不能伪装你的用户代理字符串等。 urllib模块可以提供进行urlencode的方法，该方法用于GET查询字符串的生成，urllib2的不具有

from bs4 import BeautifulSoupinfo =[]with open('D:/BaiduYunDownload/Python实战：：四周实现爬虫系统/课程资料/课程源码及作业参考答案/week1/1_2/1_2code_of_video/web/new_index.html', 'r') as some_data: Soup = BeautifulSoup(some_

from bs4 import BeautifulSoupimport requestsurl = 'http://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html'wb_data = requests.get(url)#用wb_data储存从网站得到的responsesoup = Bea

1.urlopen()方法 urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。 参数url表示远程数据的路径，一般是网址； 参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get。如果你不清楚，也不必太在意，一般情况下很少用