python爬虫之ajax请求爬取豆瓣电影数据

ajax

-异步请求

-一定会有url，请求方法，可能有数据

-一般使用json格式

-案例：爬取豆瓣电影数据

进入豆瓣电影官网->排行榜->剧情，打开审查元素,查看network->all，

可以看到找到每个链接中间有20个图片，这个链接很可能就是我们要找的电影链接，下面我们分析一下他的Request URL。

根据Request URL中的limit，我们猜想每发送一个请求，通过ajax要20个数据，start很可能是一个开始值，接着我们往上查看链接，

如图为start=0，往下找会有更大的值。

从此我们可以判断start和limit就是从第几个电影开始要，一次要多少。

接着我们看interval_id，其英文表示区间，此时它的值是100%3A90，我们猜想这是页面中的打分区间，移动页面打分区间再次查看其链接的Request URL确实随之变化，所以他就是如下的打分区间：

type可能是电影的type，也可能是其他的，在这里不太重要。

下面看爬取代码：

'''
爬取豆瓣电影数据
'''from urllib import  request
import jsonurl = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"rsp = request.urlopen(url)
data = rsp.read().decode()data = json.loads(data)
print(data)运行：
[{'rating': ['9.6', '50'], 'rank': 1, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg', 'is_playable': True, 'id': '1292052', 'types': ['犯罪', '剧情'], 'regions': ['美国'], 'title': '肖申克的救赎', 'url': 'https://movie.douban.com/subject/1292052/', 'release_date': '1994-09-10', 'actor_count': 25, 'vote_count': 1387687, 'score': '9.6', 'actors': ['蒂姆·罗宾斯', '摩根·弗里曼', '鲍勃·冈顿', '威廉姆·赛德勒', '克兰西·布朗', '吉尔·贝罗斯', '马克·罗斯顿', '詹姆斯·惠特摩', '杰弗里·德曼', '拉里·布兰登伯格', '尼尔·吉恩托利', '布赖恩·利比', '大卫·普罗瓦尔', '约瑟夫·劳格诺', '祖德·塞克利拉', '保罗·麦克兰尼', '芮妮·布莱恩', '阿方索·弗里曼', 'V·J·福斯特', '弗兰克·梅德拉诺', '马克·迈尔斯', '尼尔·萨默斯', '耐德·巴拉米', '布赖恩·戴拉特', '唐·麦克马纳斯'], 'is_watched': False},
{'rating': ['9.6', '50'], 'rank': 2, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910813120.jpg', 'is_playable': True, 'id': '1291546', 'types': ['剧情', '爱情', '同性'], 'regions': ['中国大陆', '香港'], 'title': '霸王别姬', 'url': 'https://movie.douban.com/subject/1291546/', 'release_date': '1993-01-01', 'actor_count': 25, 'vote_count': 1027300, 'score': '9.6', 'actors': ['张国荣', '张丰毅', '巩俐', '葛优', '英达', '蒋雯丽', '吴大维', '吕齐', '雷汉', '尹治', '马明威', '费振翔', '智一桐', '李春', '赵海龙', '李丹', '童弟', '沈慧芬', '黄斐', '黄磊', '冯远征', '杨立新', '方征', '周璞', '隋永清'], 'is_watched': False},
{'rating': ['9.6', '50'], 'rank': 3, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2271261024.jpg', 'is_playable': False, 'id': '1296141', 'types': ['剧情', '犯罪', '悬疑'], 'regions': ['美国'], 'title': '控方证人', 'url': 'https://movie.douban.com/subject/1296141/', 'release_date': '1957-12-17', 'actor_count': 51, 'vote_count': 174277, 'score': '9.6', 'actors': ['泰隆·鲍华', '玛琳·黛德丽', '查尔斯·劳顿', '爱尔莎·兰切斯特', '约翰·威廉姆斯', '亨利·丹尼尔', '伊安·沃尔夫', '托林·撒切尔', '诺玛·威登', '尤娜·奥康纳', '茹塔·李', '贝丝·弗劳尔斯', '比尔·厄尔文', 'J·帕特·奥马利', '本·怀特', 'Paul Kruger', 'Jack Raine', 'Paul Power', '乔治·佩林', '威廉·H·奥布莱恩', '奥托拉内史密斯', 'Frank McClure', 'Colin Kenny', 'Jeanne Lafayette', 'Wilbur Mack', 'Fred Rapport', 'Leoda Richards', 'Glen Walters', 'Arthur Tovey', 'Bert Stevens', 'Cap Somers', 'Lucille Sewall', 'Scott Seaton', 'Norbert Schiller', '杰弗里·塞尔', 'John Roy', 'Al Roberts', 'Art Howard', 'Stuart Hall', 'Francis Compton', 'Philip Tonge', 'Patrick Aherne', '富兰克林·法纳姆', 'Marjorie Eaton', 'Steve Carruthers', 'George Calliga', '乔治布鲁格曼', 'Danny Borzage', 'Brandon Beach', 'Eddie Baker', 'Walter Bacon'], 'is_watched': False},
{'rating': ['9.5', '50'], 'rank': 4, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p510861873.jpg', 'is_playable': True, 'id': '1292063', 'types': ['剧情', '喜剧', '爱情', '战争'], 'regions': ['意大利'], 'title': '美丽人生', 'url': 'https://movie.douban.com/subject/1292063/', 'release_date': '1997-12-20', 'actor_count': 30, 'vote_count': 639434, 'score': '9.5', 'actors': ['罗伯托·贝尼尼', '尼可莱塔·布拉斯基', '乔治·坎塔里尼', '朱斯蒂诺·杜拉诺', '赛尔乔·比尼·布斯特里克', '玛丽萨·帕雷德斯', '霍斯特·布赫霍尔茨', '利迪娅·阿方西', '朱利亚娜·洛约迪切', '亚美利哥·丰塔尼', '彼得·德·席尔瓦', '弗朗西斯·古佐', '拉法埃拉·莱博罗尼', '克劳迪奥·阿方西', '吉尔·巴罗尼', '马西莫·比安奇', '恩尼奥·孔萨尔维', '吉安卡尔洛·科森蒂诺', '阿伦·克雷格', '汉尼斯·赫尔曼', '弗兰科·梅斯科利尼', '安东尼奥·普雷斯特', '吉娜·诺维勒', '理查德·塞梅尔', '安德烈提多娜', '迪尔克·范登贝格', '奥梅罗·安东努蒂', '李靖飞', '沈晓谦', '张欣'], 'is_watched': False},
{'rating': ['9.5', '50'], 'rank': 5, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p492406163.jpg', 'is_playable': True, 'id': '1295124', 'types': ['剧情', '历史', '战争'], 'regions': ['美国'], 'title': '辛德勒的名单', 'url': 'https://movie.douban.com/subject/1295124/', 'release_date': '1993-11-30', 'actor_count': 46, 'vote_count': 570493, 'score': '9.5', 'actors': ['连姆·尼森', '本·金斯利', '拉尔夫·费因斯', '卡罗琳·古多尔', '乔纳森·萨加尔', '艾伯丝·戴维兹', '马尔戈萨·格贝尔', '马克·伊瓦涅', '碧翠斯·马科拉', '安德烈·瑟韦林', '弗里德里希·冯·图恩', '克齐斯茨托夫·拉夫特', '诺伯特·魏塞尔', '马丁·塞梅洛格', 'Tadeusz Huk', 'Tomasz Dedek', '奥拉夫·卢巴申科', '马瑞安·格林卡', 'Eugeniusz Priwieziencew', '艾尔文·莱德', '约亨·尼克尔', 'Piotr Cyrwus', '约阿希姆·保罗·阿斯波克', '吴俊全', '佐久间玲', '彭河', '戈兹·奥托', '玛雅·奥丝塔泽斯卡', 'Maciej Kozlowski', '阿格尼兹卡·旺格', '阿格涅兹卡·克鲁科沃娜', 'Maciej Orlos', '布兰科·拉斯蒂格', '路德格·皮斯特', '埃琳娜·勒文松', 'Ezra Dagan', 'Geno Lechner', 'Razia Israeli', '拉米·希尔伯格', 'Marta Bizon', '胡契克·卡勒塔', '塔德乌什·布拉德基', '亨里克·比斯塔', '帕维·德朗柯', '杰兹·诺瓦克', '安娜·穆查'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 6, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p511118051.jpg', 'is_playable': True, 'id': '1295644', 'types': ['剧情', '动作', '犯罪'], 'regions': ['法国'], 'title': '这个杀手不太冷', 'url': 'https://movie.douban.com/subject/1295644/', 'release_date': '1994-09-14', 'actor_count': 20, 'vote_count': 1267956, 'score': '9.4', 'actors': ['让·雷诺', '娜塔莉·波特曼', '加里·奥德曼', '丹尼·爱罗', '彼得·阿佩尔', '迈克尔·巴达鲁科', '艾伦·格里尼', '伊丽莎白·瑞根', '卡尔·马图斯维奇', '弗兰克·赛格', '麦温', '乔治·马丁', '罗伯特·拉萨多', '亚当·布斯奇', '马里奥·托迪斯科', '萨米·纳塞利', '让·雨果·安格拉德', '埃莱娜·卡多纳', '大塚明夫', '沈晓谦'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 7, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p510876377.jpg', 'is_playable': True, 'id': '1292720', 'types': ['剧情', '爱情'], 'regions': ['美国'], 'title': '阿甘正传', 'url': 'https://movie.douban.com/subject/1292720/', 'release_date': '1994-06-23', 'actor_count': 50, 'vote_count': 1092977, 'score': '9.4', 'actors': ['汤姆·汉克斯', '罗宾·怀特', '加里·西尼斯', '麦凯尔泰·威廉逊', '莎莉·菲尔德', '海利·乔·奥斯蒙', '迈克尔·康纳·亨弗里斯', 'Harold G. Herthum', '山姆·安德森', 'Ione M. Telech', '彼得·道博森', '希芳·法隆', 'Elizabeth Hanks', '汉娜·豪尔', 'Christopher Jones', 'Rob Landry', 'Jason McGuire', '桑尼·施罗耶', 'Ed Davis', '丹尼尔C.斯瑞派克', '大卫·布里斯宾', 'Deborah McTeer', 'Al Harrington', '阿非莫·奥米拉', 'John Voldstad', 'Michael Burgess', 'Eric Underwood', 'Byron Minns', '斯蒂芬·布吉格沃特', 'John William Galt', 'Hilary Chaplain', 'Isabel Rose', "Richard D'Alessandro", 'Dick Stilwell', '迈克尔-杰斯', '杰弗里·布莱克', '瓦妮莎·罗斯', '迪克·卡维特', '马拉·苏查雷特扎', 'Joe Alaskey', 'W. Benson Terry', '约翰·列侬', '埃尔维斯·普雷斯利', '罗纳德·里根', '鲍勃·霍普', '约翰·肯尼迪', '理查德·尼克松', '吴俊全', '蒂莫西·麦克尼尔', '杰拉尔德·福特'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 8, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2173577632.jpg', 'is_playable': True, 'id': '1293182', 'types': ['剧情'], 'regions': ['美国'], 'title': '十二怒汉', 'url': 'https://movie.douban.com/subject/1293182/', 'release_date': '1957-04-13', 'actor_count': 12, 'vote_count': 237925, 'score': '9.4', 'actors': ['亨利·方达', '马丁·鲍尔萨姆', '约翰·菲德勒', '李·科布', 'E.G.马绍尔', '杰克·克卢格曼 ', '爱德华·宾斯', '杰克·瓦尔登', '约瑟夫·史威尼', '埃德·贝格利', '乔治·沃斯科维奇', '罗伯特·韦伯'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 9, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1408665952.jpg', 'is_playable': True, 'id': '5450891', 'types': ['剧情', '爱情', '灾难'], 'regions': ['美国'], 'title': '泰坦尼克号 3D版', 'url': 'https://movie.douban.com/subject/5450891/', 'release_date': '2012-04-10', 'actor_count': 37, 'vote_count': 178066, 'score': '9.4', 'actors': ['莱昂纳多·迪卡普里奥', '凯特·温丝莱特', '比利·赞恩', '凯西·贝茨', '弗兰西丝·费舍', '格劳瑞亚·斯图尔特', '比尔·帕克斯顿', '伯纳德·希尔', '大卫·沃纳', '维克多·加博', '乔纳森·海德', '苏茜·爱米斯', '刘易斯·阿伯内西', '尼古拉斯·卡斯柯恩', '阿那托利·萨加洛维奇', '丹尼·努齐', '杰森·贝瑞', '伊万·斯图尔特', '罗恩·多纳基', '夏洛特·查顿', '博纳德·福克斯', '迈克尔·英塞恩', '艾瑞克·布里登', '詹妮特·戈德斯坦恩', 'Linda Kerns', 'Paul Herbert', '德里克·李', '克雷格·凯利', '西蒙·克雷恩', '马丁·贾维斯', '季冠霖', '詹姆斯·卡梅隆', '马克·林赛·查普曼', '爱德华德·弗莱彻', '艾恩·格拉法德', '罗切尔·罗斯', '史蒂文·奎里 '], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 10, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2505048077.jpg', 'is_playable': True, 'id': '1307856', 'types': ['剧情'], 'regions': ['中国大陆', '香港'], 'title': '背靠背，脸对脸', 'url': 'https://movie.douban.com/subject/1307856/', 'release_date': '1994-09-10', 'actor_count': 18, 'vote_count': 32385, 'score': '9.4', 'actors': ['牛振华', '雷恪生', '李强', '句号', '王劲松', '戈治均', '佘南南', '张嘉译', '刘国祥', '徐学政', '林海海', '温谦', '马载军', '吴玮玲', '韩炳杰', '杨亚洲', '王馥荔', '张艺'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 11, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1161132422.jpg', 'is_playable': True, 'id': '1291831', 'types': ['剧情', '爱情', '家庭'], 'regions': ['意大利'], 'title': '灿烂人生', 'url': 'https://movie.douban.com/subject/1291831/', 'release_date': '2003-06-22', 'actor_count': 16, 'vote_count': 31370, 'score': '9.4', 'actors': ['路易吉·洛·卡肖', '阿莱西奥·博尼', '索尼娅·贝加马斯科', '玛雅·珊萨', '法布里齐奥·吉福尼', '杰丝敏·特丽卡', '里卡多·斯卡马乔', '安德烈提多娜', '瓦伦蒂娜·卡妮卢提', '卡米拉·菲利皮', '莉迪亚·维塔莱', 'Claudio Gioè', '斯特凡诺·阿伯蒂', '安东内洛·普利西', '阿德里娅娜·阿斯蒂', 'Giuseppe Gandini'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 12, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2262122096.jpg', 'is_playable': True, 'id': '1461403', 'types': ['剧情', '历史'], 'regions': ['中国大陆'], 'title': '茶馆', 'url': 'https://movie.douban.com/subject/1461403/', 'release_date': '1982', 'actor_count': 22, 'vote_count': 27473, 'score': '9.4', 'actors': ['于是之', '郑榕', '蓝天野', '英若诚', '黄宗洛', '童超', '金昭', '林连昆', '牛星丽', '谭宗尧', '童弟', '吴淑昆', '宋丹丹', '董行佶', '王大年', '张华', '尚丽娟', '米铁增', '张瞳', '任宝贤', '胡宗温', '朱旭'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 13, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2153875961.jpg', 'is_playable': False, 'id': '10583098', 'types': ['剧情', '犯罪', '悬疑'], 'regions': ['美国'], 'title': '十二怒汉', 'url': 'https://movie.douban.com/subject/10583098/', 'release_date': '1954-09-20', 'actor_count': 12, 'vote_count': 8367, 'score': '9.4', 'actors': ['罗伯特·卡明斯', '法兰奇·汤恩', '爱德华·阿诺德', '保罗·哈特曼', '约翰·贝尔', '沃尔特·艾贝尔', '乔治·沃斯科维奇', '约瑟夫·史威尼', '巴特·伯恩斯', '诺曼·费尔', '李·飞利浦', 'Larkin Ford'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 14, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2367853261.jpg', 'is_playable': False, 'id': '5294851', 'types': ['剧情', '犯罪', '悬疑'], 'regions': ['美国', '英国'], 'title': '控方证人', 'url': 'https://movie.douban.com/subject/5294851/', 'release_date': '1982-12-04', 'actor_count': 8, 'vote_count': 4420, 'score': '9.4', 'actors': ['拉尔夫·理查德森', '黛博拉·蔻儿', '博·布里奇斯', '黛安娜·里格', '温蒂·希勒', '唐纳德·普利森斯', '彼得·萨利斯', '弗兰克·米尔斯'], 'is_watched': False},
{'rating': ['9.4', '50'], 'rank': 15, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2224933614.jpg', 'is_playable': False, 'id': '25928148', 'types': ['剧情', '爱情', '歌舞'], 'regions': ['法国'], 'title': '罗密欧与朱丽叶', 'url': 'https://movie.douban.com/subject/25928148/', 'release_date': '2002-02-06', 'actor_count': 4, 'vote_count': 2046, 'score': '9.4', 'actors': ['达米安·萨格', '希西莉亚·卡拉', '葛里高利·巴奎特', 'Tom Ross'], 'is_watched': False},
{'rating': ['9.3', '50'], 'rank': 16, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p513344864.jpg', 'is_playable': True, 'id': '3541415', 'types': ['剧情', '科幻', '悬疑', '冒险'], 'regions': ['美国', '英国'], 'title': '盗梦空间', 'url': 'https://movie.douban.com/subject/3541415/', 'release_date': '2010-09-01', 'actor_count': 28, 'vote_count': 1100466, 'score': '9.3', 'actors': ['莱昂纳多·迪卡普里奥', '约瑟夫·高登-莱维特', '艾伦·佩吉', '汤姆·哈迪', '渡边谦', '迪利普·劳', '基里安·墨菲', '汤姆·贝伦杰', '玛丽昂·歌迪亚', '皮特·波斯尔思韦特', '迈克尔·凯恩', '卢卡斯·哈斯', '李太力', '克莱尔·吉尔蕾', '马格努斯·诺兰', '泰勒·吉蕾', '乔纳森·吉尔', '水源士郎', '冈本玉二', '厄尔·卡梅伦', '瑞恩·海沃德', '米兰达·诺兰', '拉什·费加', '蒂姆·科勒赫', '妲露拉·莱莉', '玛格丽特·因索利亚', '吉尔·马德雷尔', '迈克尔·加斯顿'], 'is_watched': False},
{'rating': ['9.3', '50'], 'rank': 17, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p457760035.jpg', 'is_playable': True, 'id': '1292722', 'types': ['剧情', '爱情', '灾难'], 'regions': ['美国'], 'title': '泰坦尼克号', 'url': 'https://movie.douban.com/subject/1292722/', 'release_date': '1998-04-03', 'actor_count': 60, 'vote_count': 1033284, 'score': '9.3', 'actors': ['莱昂纳多·迪卡普里奥', '凯特·温丝莱特', '比利·赞恩', '凯西·贝茨', '弗兰西丝·费舍', '格劳瑞亚·斯图尔特', '比尔·帕克斯顿', '伯纳德·希尔', '大卫·沃纳', '维克多·加博', '乔纳森·海德', '苏茜·爱米斯', '刘易斯·阿伯内西', '尼古拉斯·卡斯柯恩', '阿那托利·萨加洛维奇', '丹尼·努齐', '杰森·贝瑞', '伊万·斯图尔特', '艾恩·格拉法德', '乔纳森·菲利普斯', '马克·林赛·查普曼', '理查德·格拉翰', '保罗·布赖特威尔', '艾瑞克·布里登', '夏洛特·查顿', '博纳德·福克斯', '迈克尔·英塞恩', '法妮·布雷特', '马丁·贾维斯', '罗莎琳·艾尔斯', '罗切尔·罗斯', '乔纳森·伊万斯-琼斯', '西蒙·克雷恩', '爱德华德·弗莱彻', '斯科特·安德森', '马丁·伊斯特', '克雷格·凯利', '格雷戈里·库克', '利亚姆·图伊', '詹姆斯·兰开斯特', '艾尔莎·瑞雯', '卢·帕尔特', '泰瑞·佛瑞斯塔', '凯文·德·拉·诺伊', '詹姆斯·卡梅隆', '竹内结子', '詹姆斯·霍纳', '姜广涛', '罗恩·多纳基', '佐佐木澄江', '史蒂文·奎里 ', '詹妮特·戈德斯坦恩', '林凡 ', 'Linda Kerns', '马丁·哈伯', '马丁·莱恩', '德里克·李', 'Paul Herbert', '亚历山大·欧文斯', 'Julene Renee'], 'is_watched': False},
{'rating': ['9.3', '50'], 'rank': 18, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1606727862.jpg', 'is_playable': False, 'id': '1291561', 'types': ['剧情', '动画', '奇幻'], 'regions': ['日本'], 'title': '千与千寻', 'url': 'https://movie.douban.com/subject/1291561/', 'release_date': '2001-07-20', 'actor_count': 21, 'vote_count': 1019100, 'score': '9.3', 'actors': ['柊瑠美', '入野自由', '夏木真理', '菅原文太', '中村彰男', '玉井夕海', '神木隆之介', '内藤刚志', '泽口靖子', '我修院达也', '大泉洋', '小林郁夫', '上条恒彦', '小野武彦', '山像香', '斋藤志郎', '安田显', '户次重幸', '黛维·切斯', '胡立成', '脇田茂'], 'is_watched': False}, {'rating': ['9.3', '50'], 'rank': 19, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p524964016.jpg', 'is_playable': True, 'id': '3011091', 'types': ['剧情'], 'regions': ['美国', '英国'], 'title': '忠犬八公的故事', 'url': 'https://movie.douban.com/subject/3011091/', 'release_date': '2009-06-13', 'actor_count': 19, 'vote_count': 724130, 'score': '9.3', 'actors': ['理查·基尔', '萨拉·罗默尔', '琼·艾伦', '罗比·萨布莱特', '艾瑞克·阿瓦利', '田川洋行', '杰森·亚历山大', '罗伯特·卡普荣', 'Ellen Becker-Gray', 'Ben Skinner', '凯文·德科斯泰', 'Raymond Alongi', 'Michael Kelly', '达文尼亚·麦克法登', '贝茨·怀尔德', 'Americo Presciutti', 'Gail Bugeja', '马丁·蒙塔纳', '高岛彩'], 'is_watched': False},
{'rating': ['9.3', '50'], 'rank': 20, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910824951.jpg', 'is_playable': True, 'id': '1291549', 'types': ['剧情', '音乐'], 'regions': ['法国', '瑞士', '德国'], 'title': '放牛班的春天', 'url': 'https://movie.douban.com/subject/1291549/', 'release_date': '2004-10-16', 'actor_count': 17, 'vote_count': 683535, 'score': '9.3', 'actors': ['热拉尔·朱尼奥', '弗朗索瓦·贝莱昂', '凯德·麦拉德', '让-保罗·博奈雷', '玛丽·布奈尔', '让-巴蒂斯特·莫尼耶', '马科森斯·珀林', '格雷戈里·加迪诺尔', '托马斯·布伦门塔尔', '西里尔·伯尔尼科特', '西蒙·法戈特', '泰奥杜尔·卡雷-卡赛尼', '菲利普·杜·詹纳兰德', '埃里克·德斯玛莱茨', '狄迪尔·弗拉蒙', '雅克·贝汉', '卡罗尔·韦斯'], 'is_watched': False}]

python爬虫之ajax请求爬取豆瓣电影数据相关推荐

Python爬虫入门 | 7 分类爬取豆瓣电影，解决动态加载问题
比如我们今天的案例,豆瓣电影分类页面.根本没有什么翻页,需要点击"加载更多"新的电影信息,前面的黑科技瞬间被秒-- 又比如知乎关注的人列表页面: 我复制了其中两个人昵称 ...
python爬虫（一）爬取豆瓣电影排名前50名电影的信息
python爬虫(一)爬取豆瓣电影排名前50名电影的信息在Python爬虫中,我们可以使用beautifulsoup对网页进行解析. 我们可以使用它来爬取豆瓣电影排名前50名的电影的详细信息,例如排 ...
Python爬虫教程003：爬取豆瓣电影信息（更加丰富的信息）
# -*- coding: utf-8 -*- """ @ModuleName:demo3 @Function: @Author: H2017824 @Time: 202 ...
Python爬虫实战(一)：爬取豆瓣电影top250排名
先上代码 #coding=utf-8 import re import urllib.requestdef getHtml(url):page = urllib.request.urlopen(url ...
Python爬虫实战003：爬取豆瓣电影分类排行榜
import requests import jsonif __name__ == '__main__':url = "https://movie.douban.com/j/chart/to ...
Python爬虫学习---------根据分类爬取豆瓣电影的电影信息
代码的入口: if __name__ == '__main__': main() #! /usr/bin/python3 # -*- coding:utf-8 -*- # author:Sirius. ...
python实现爬虫探探_全栈 - 9 实战爬取豆瓣电影数据
这是全栈数据工程师养成攻略系列教程的第九期:9 实战爬取豆瓣电影数据. 掌握了爬虫的基本原理和代码实现,现在让我们通过实战项目巩固一下. 确定目标在写爬虫之前应当想清楚:我需要哪方面的数据?需要包 ...
Python爬虫菜鸟入门，爬取豆瓣top250电影（自己学习，如有侵权，请联系我删除）
Python爬虫菜鸟入门,爬取豆瓣top250电影 (自己学习,如有侵权,请联系我删除) import requests from bs4 import BeautifulSoup import ti ...
python爬虫——用Scrapy框架爬取阳光电影的所有电影
python爬虫--用Scrapy框架爬取阳光电影的所有电影 1.附上效果图 2.阳光电影网址http://www.ygdy8.net/index.html 3.先写好开始的网址 name = 'yg ...
Java爬取豆瓣电影数据
所用到的技术有Jsoup,HttpClient. Jsoup jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CS ...

python爬虫之ajax请求爬取豆瓣电影数据

ajax

-案例：爬取豆瓣电影数据

python爬虫之ajax请求爬取豆瓣电影数据相关推荐

最新文章

热门文章