python爬虫-豆瓣喜剧电影评分top100的电影-小林月

数据展示：

排行榜向下滑动的时候发起一个请求

查看请求方法，网址，以及返回形式

直接利用requests模块上代码

import requests
if __name__=="__main__":# 处理ucl携带的参数:封装到字典中#UA伪装为一个用户浏览器进行访问数据headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}url = 'https://movie.douban.com/j/chart/top_list'param = {"type": "24","interval_id":"100:90","action":"","start": "0",#从第几部电影开始"limit": "100"#到第几部电影结束}# 对指定的url发起的请求对应的url是携带参数的..并且请求过程虫处理了参数response = requests.get(url=url,params=param,headers=headers)diany_json = response.json()#转换json文件为csv文件存储keys = list(diany_json[0].keys())# 这里输出类型转换前的类型和样子 供参考# 为了方便保存的时候方便进行索引，于是先获取json内map的key值list_json_data = []for i in range(100):list_json_data.append([diany_json[i][x] for x in keys])# 上面一行的代码等于 ：# 1、# list_json_data.append([json_list[i][keys[0]], json_list[i][keys[1]], json_list[i][keys[2]]])# 2、# tmpList = []# for x in keys:#     tmpList.append(json_list[i][x])# list_json_data.append(tmpList)
with open('data.csv','w',encoding='utf-8-sig',newline='') as f:# 初始化 csv writer 对象import csvf = csv.writer(f)# 遍历json数据列表并保存每个列表for list_data in list_json_data:f.writerow(list_data)

python爬虫-豆瓣喜剧电影评分top100的电影-小林月相关推荐

第一篇CSDN博客 python爬虫豆瓣排名前250的电影
## 第一篇CSDN博客 python爬虫豆瓣排名前250的电影 1.首先,这是本宝宝的第一篇博客,嘿嘿,有点小激动,之所以采用CSDN发博客呢有两个原因,1是因为现在学的东西比较多,自己学着学着就忘 ...
python爬虫豆瓣排名前250的电影
import requests库和from bs4 import BeautifulSoup库 import requests from bs4 import BeautifulSoup reques ...
Python爬虫豆瓣电影top250
我的另一篇博客,Python爬虫豆瓣读书评分9分以上榜单有了上次的基础,这次简单爬了下豆瓣上电影TOP250,链接豆瓣电影TOP250. 打开链接,查看网页源代码,查找我们需要的信息的字 ...
python爬虫—豆瓣电影海报（按类别）
原文地址:http://www.alannah.cn/2019/04/06/getdouban/ python爬虫-豆瓣电影海报目标:通过python爬虫在豆瓣电影上按类别对电影海报等数据进行抓取, ...
python爬虫 requests+bs4爬取猫眼电影傻瓜版教程
python爬虫 requests+bs4爬取猫眼电影傻瓜版教程前言一丶整体思路二丶遇到的问题三丶分析URL 四丶解析页面五丶写入文件六丶完整代码七丶最后前言大家好我是墨绿头顶总 ...
python爬虫豆瓣影评的爬取cookies实现自动登录账号
python爬虫豆瓣影评的爬取cookies实现自动登录账号频繁的登录网页会让豆瓣锁定你的账号-- 网页请求使用cookies来实现的自动登录账号,这里的cookies因为涉及到账号我屏蔽了,具 ...
python爬虫-豆瓣爬取数据保存为html文件
接<python爬虫-豆瓣数据爬取-正则匹配>中的案例五,将爬取的豆瓣租房信息网址和标题保存为html文件. 脚本修改如下: # -*-coding:utf-8 -*- import re ...
Python爬虫系列之爬取某奢侈品小程序店铺商品数据
Python爬虫系列之爬取某奢侈品小程序店铺商品数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发> 点击这里联系我们 < 微信请扫描下方二维码代码仅供学 ...
python爬虫豆瓣电影按电影类型_python爬虫之豆瓣电影评分
想知道一部电影好不好看,豆瓣的评分还是比较靠谱的,于是,搞了搞,写了一个小爬虫: 好像csdn出现bug了,还是游览器的问题,图片插入不进去: 说明文档: 1.直接讲代码保存成.py文件 2.输入你喜 ...

python爬虫-豆瓣喜剧电影评分top100的电影-小林月

python爬虫-豆瓣喜剧电影评分top100的电影-小林月相关推荐

最新文章

热门文章