python爬虫-电影数据抓取

1、进入此次爬取的页面点这里。

2、按F12—> network

3、ctrl+r 刷新如图搜索一个电影名，找到数据位置，然后查看

4、找到请求的url ‘？’后边的是参数，不要带上

5、参数单独拿出来

start：0 代表的是排行榜的第一部电影

limit：20 代表的是一次返回20条数据（20部电影）

start和limit都可以更改

param={'type': '24','interval_id': '100:90','action':'' ,'start': start,'limit': limit}

6、大致先看一看拿到的数据类型，然后解析，从其中拿到自己想要的数据

7、开始编写代码：

import csv
import pprint
import requestsurl='https://movie.douban.com/j/chart/top_list'
start=input('从库中第几部电影取：')
limit=input('取几部：')
param={'type': '24','interval_id': '100:90','action':'' ,'start': start,'limit': limit}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62'}
response=requests.get(url=url,params=param,headers=headers)
list_data=response.json()
pprint.pprint(list_data)

运行代码，查看结果：

拿到的的确是两条数据，然后从其中选择自己想要的数据出来，进行可视化处理，保存为csv格式

f=open('./豆瓣.csv','w',encoding='utf-8-sig',newline='')#a 是追加保存
csv_write=csv.DictWriter(f, fieldnames=['电影名','主演人数','主演','评分','上映时间','类型','评论数','拍摄国家',
])
csv_write.writeheader()for i in list_data:dic={'电影名':i['title'],'主演人数':i['actor_count'],'主演':i['actors'],'评分':i['score'],'上映时间':i['release_date'],'类型': i['types'],'评论数': i['vote_count'],'拍摄国家':i['regions']}print(dic)csv_write.writerow(dic)

运行：

8.完整代码：

import csv
import requestsurl='https://movie.douban.com/j/chart/top_list'
start=input('从库中第几部电影取：')
limit=input('取几部：')
param={'type': '24','interval_id': '100:90','action':'' ,'start': start,'limit': limit}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62'}
response=requests.get(url=url,params=param,headers=headers)
list_data=response.json()f=open('./豆瓣.csv','w',encoding='utf-8-sig',newline='')#a 是追加保存
csv_write=csv.DictWriter(f, fieldnames=['电影名','主演人数','主演','评分','上映时间','类型','评论数','拍摄国家',
])
csv_write.writeheader()for i in list_data:dic={'电影名':i['title'],'主演人数':i['actor_count'],'主演':i['actors'],'评分':i['score'],'上映时间':i['release_date'],'类型': i['types'],'评论数': i['vote_count'],'拍摄国家':i['regions']}print(dic)csv_write.writerow(dic)

python爬虫-电影数据抓取相关推荐

基于Python猫眼票房TOP100电影数据抓取
基于Python猫眼票房TOP100电影数据抓取使用requests库抓取数据 BeatifulSoup解析URL,将数据存入csv文件处理数据,生成图表本次爬取数据使用Python语言在jup ...
python爬虫代码房-Python爬虫一步步抓取房产信息
原标题:Python爬虫一步步抓取房产信息前言嗯,这一篇文章更多是想分享一下我的网页分析方法.玩爬虫也快有一年了,基本代码熟悉之后,我感觉写一个爬虫最有意思的莫过于研究其网页背后的加载过程了,也就 ...
Python爬虫项目：抓取智联招聘信息
来自https://mp.weixin.qq.com/s/0SzLGqv2p0-IWSN3r8bOHA ''' Python爬虫之五:抓取智联招聘基础版该文件运行后会产生一个代码,保存在这个Pyth ...
通过Python爬虫按关键词抓取相关的新闻
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途如今各大网站的反爬机制已经可以说是到了丧心病狂的程度,比如大众点评的字符加密.微博的登录验证等.相比较而言,新闻网站的反爬机制 ...
python 爬虫学习：抓取智联招聘网站职位信息(二)
在第一篇文章(python 爬虫学习:抓取智联招聘网站职位信息(一))中,我们介绍了爬取智联招聘网站上基于岗位关键字,及地区进行搜索的岗位信息,并对爬取到的岗位工资数据进行统计并生成直方图展示:同时进 ...
python爬虫关键词抓手机号_通过Python爬虫按关键词抓取相关的新闻
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 如今各大网站的反爬机制已经可以说是到了丧心病狂的程度,比如大众点评的字符加 ...
Python爬虫——Ajax数据爬取
前言有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到正常显示的页面数据,但使用requests得到的结果并没有.这是因为在requests获得 ...
猫眼api html,猫眼电影数据抓取
猫眼电影数据抓取实现分析 1.基准xpath: 匹配所有电影信息的节点对象列表 '//dl[@class="board-wrapper"]/dd' 2.遍历对象列表,依次获取每个电 ...
python爬虫妹子图抓取
python爬虫妹子图抓取目标网址:图片地址我的github地址:超链接可以自行感受一下,我就不说了,重点是学习代码,不是图片 #! /usr/bin/python3 # -*- coding: ...

python爬虫-电影数据抓取

python爬虫-电影数据抓取相关推荐

最新文章

热门文章