爬取豆瓣TOP250电影排行榜-【爬虫篇】《极客Python之效率革命》（小甲鱼）

热门回复：

• 三文鱼丶饭团:一些人爬不到数据的原因是网站做了反爬虫，解决方法是“伪装”成浏览器后再进行爬虫就可以爬到了。具体方法自己百度，不难。
• 凪砂丶:刚在零基础python学完urllib，跳过来就和我说要忘了[小电视_哭泣]
• 朽木や拓哉:小甲鱼的盗版视频在B站播放破两百万，而正版视频不过一万。。心疼小甲鱼。
• 我不知道什么名字好啊:淘宝的需要导入cookies了，希望小甲鱼能够出一个有关的视频
• Amor_心:>>> import requests >>> import bs4 >>> headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} >>> res=requests.get("http://movie.douban.com/top250",headers=headers) >>> soup = bs4.BeautifulSoup(res.text,"html.parser") >>> targets = soup.find_all("div",class_="hd") >>> for each in targets: print(each.a.span.text)