python自定义爬取豆瓣各类电影排行榜

import requestsif __name__ == "__main__":name_typs01 = '剧情-编码：11' + ' , ' + '喜剧-编码：24' + ' , ' + '动作-编码：5' + ' , ' + '爱情-编码：13' + ' , ' + '科幻-编码：17' + ' , ' + '动画-编码：25' + ' , ' + '悬疑-编码：10'name_typs02 = '惊悚-编码：19' + ' , ' + '恐怖-编码：20' + ' , ' + '纪录片-编码：1' + ' , ' + '短片-编码：23' + ' , ' + '情色-编码：6' + ' , ' + '同性-编码：26' + ' , ' + '音乐-编码：14'name_typs03 = '歌舞-编码：7' + ' , ' + '家庭-编码：28' + ' , ' + '儿童-编码：8' + ' , ' + '传记-编码：2' + ' , ' + '历史-编码：4' + ' , ' + '战争-编码：22' + ' , ' + '犯罪-编码：3'name_typs04 = '西部-编码：27' + ' , ' + '奇幻-编码：16' + ' , ' + '冒险-编码：15' + ' , ' + '灾难-编码：12' + ' , ' + '武侠-编码：29' + ' , ' + '古装-编码：30' + ' , ' + '运动-编码：18' + ' , ' + '黑色电影-编码：31'top_vip01 = '满分为100分，最低分为0分，只能输100，90，80，70，60，50，40，30，20，10，0中任意一个分数'print(name_typs01)print(name_typs02)print(name_typs03)print(name_typs04)new_num = input('请输入相对应的编码号：')top_num = input('你想要top(最多top20):')print(top_vip01)top_vip03=input('请输入你喜欢的分数：')top_vip05=top_vip03+':'+str(int(top_vip03)-10)url = 'https://movie.douban.com/j/chart/top_list'param = {'type': new_num,'interval_id': top_vip05,'action': '','start': '0','limit': top_num,}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47'}mov_top = []response = requests.get(url=url, params=param, headers=headers)list_data = response.json()for strs in list_data[0:]:strs['rank'] = str(strs['rank'])rank = strs.get('rank')title = strs.get('title')str_list = '排名：' + strs.get('rank') + '  ' + '影名：《' + strs.get('title') + '》  ' + '国家：' + str(strs.get('regions')) + '  ' + '时间：' + strs.get('release_date') + '  ' + '评分：' + strs.get('score')mov_top.append(str_list)print(str_list)

python自定义爬取豆瓣各类电影排行榜相关推荐

PowerBI也能做爬虫：爬取豆瓣Top电影排行榜
对于简单的页面数据爬取,其实使用PowerBI就可以可视化直接实现了,不需要另外写爬虫程序.本文以爬取豆瓣Top250电影排行榜示例说明下操作的基本过程. 一.分析URL规律及网页结构打开豆瓣电影T ...
python爬虫——爬取豆瓣TOP250电影
相信很多朋友在看一部电影的时候喜欢先去豆瓣找一下网友对该片的评价.豆瓣作为国内最权威的电影评分网站,虽然有不少水军和精日精美分子,但是TOP250的电影还是不错的,值得一看. 爬取目标本文将爬取豆瓣 ...
python爬虫爬取豆瓣top250电影影评
信息系统课程项目,小组准备做一个电影推荐系统,自己选了觉得很有趣的资源模块,需要获取电影的评价资源等信息.花了大约一周看Web Scraping with Python这本书,对爬虫有了大体但是初略的 ...
Python|简单爬取豆瓣网电影信息
欢迎点击「算法与编程之美」↑关注我们! 本文首发于微信公众号:"算法与编程之美",欢迎关注,及时了解更多此系列文章. 欢迎加入团队圈子!与作者面对面!直接点击! 前言: 在掌握一些 ...
python爬虫——爬取豆瓣热门电影海报生成html文件
环境 webbrowser urllib requests v2.21.0 实现功能过程 1.查看豆瓣热门电影模块源码: 看到其所在class为list-wp,我们想通过urllib里面的reque ...
python爬虫--爬取豆瓣top250电影名
关于模拟浏览器登录的header,可以在相应网站按F12调取出编辑器,点击netwook,如下: 以便于不会被网站反爬虫拒绝. 1 import requests 2 from bs4 import ...
爬取豆瓣TOP250电影排行榜
正则表达式的概念使用单个字符串来描述一系列符合某个句法规则的字符串是对字符串操作的一种逻辑公式应用场景:处理文本和数据正则表达式过程:依次拿出表达式和文本中的字符比较,如果每一个字符都能匹配, ...
python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...

python自定义爬取豆瓣各类电影排行榜

python自定义爬取豆瓣各类电影排行榜相关推荐

最新文章

热门文章