爬取豆瓣电影剧情片排行榜
学习到request模块，我们使用学到的技巧来抓取豆瓣电影的排行榜
1 分析接口
'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=20&limit=20'
'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=40&limit=20'
'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=60&limit=20'
总结 通过观察 只有start的值不一样，所以我们可以在这里直接对字符串进行拼接
11&interval_id=100%3A90&action=&limit=20&start="+str((page-1)*20)
接下来直接上代码
import requestsfor page in range(1,11,1):url="https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&limit=20&start="+str((page-1)*20)print('第%d页:%s'%(page,url))response = requests.get(url)print(response.json())for movie in response.json():title = movie['title']with open('douban.txt','a',encoding='utf-8') as fp:fp.write(title+'\n')注意
在第一次写的时候我试图用%d的形式直接进行字符串的替换，结果失败了，原因：
上图标志的是红方框这里的%3A代表一个：号
在使用%d之后，这里不能识别%3的表示，导致失败
爬取豆瓣电影剧情片排行榜相关推荐
- 爬取豆瓣电影动画排行榜
1 需求 爬取豆瓣电影动画类别排行榜. 2 代码实现 import jsonimport requestsurl = "https://movie.douban.com/j/chart/to ...
- [爬虫] 爬取豆瓣电影排行榜
申明:本文对爬取的数据仅做学习使用,不涉及任何商业活动,侵删 爬取豆瓣电影排行榜 这是一个Scrapy框架入门级的项目, 它可以帮助我们基本了解Scrapy的操作流程和运行原理 这次我们要做例子的网站 ...
- Scrapy框架学习 - 爬取豆瓣电影排行榜TOP250所有电影信息并保存到MongoDB数据库中
概述 利用Scrapy爬取豆瓣电影Top250排行榜电影信息,并保存到MongoDB数据库中 使用pymongo库操作MOngodb数据库 没有进行数据清洗 源码 items.py class Dou ...
- python大规模获取豆瓣影评_python爬取豆瓣电影排行榜(requests)
''' 爬取豆瓣电影排行榜 设计思路: 1.先获取电影类型的名字以及特有的编号 2.将编号向ajax发送get请求获取想要的数据 3.将数据存放进excel表格中 ''' 环境部署: 软件安装: 模块 ...
- 爬取豆瓣电影排行榜，并制作柱状图与3d柱状图
**爬取豆瓣电影排行榜,并简单制作柱状图 一.首先,我们需要获取页面的信息,下图是从排行第25到50的电影,由此可见start可以想象为偏移量,我们把start的值换为0,得到了第一到25排名的电影, ...
- python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
- python用bs4爬取豆瓣电影排行榜 Top 250的电影信息和电影图片，分别保存到csv文件和文件夹中
python用bs4爬取豆瓣电影排行榜 Top 250的电影信息和图片,分别保存到csv文件和文件夹中. 爬取的数据包括每个电影的电影名 , 导演 ,演员 ,评分,推荐语,年份,国家,类型. py如果 ...
- 爬取豆瓣电影排行榜top250
爬取豆瓣电影top250 平时不知道看什么电影,正好最近学习了爬虫,自己试着把电影排行下载下来,边看边学两不误. 下面直接上代码: import requests from bs4 import Be ...
- python爬取豆瓣电影榜单
python爬取豆瓣电影榜单 python爬取豆瓣电影榜单并保存到本地excel中,以后就不愁没片看了. 目标 确定我们想要抓取的电影的相关内容. 抓取豆瓣top250电影的排名.电影名.评价(总结很 ...
最新文章
- SELinux 入门
- Codeforces Round #580 (Div. 2)
- Zurmo - - 全局配置
- select默认下拉箭头改变、option样式清除
- 程序员面试题100题第28题——全排列
- Ubuntu 上寻找依赖库(.so)的方法
- linux连接mysql_主机Navicat连接linux（虚拟机）的mysql数据库
- 微型计算机体系结构的主要特点,高性能微型计算机体系结构：奔腾、酷睿系列处理器原理与应用技术...
- mongo 多条件筛选_Excel筛选功能，你确定这些小技巧你都玩明白了
- factory setup 序列号_麻烦哪位大侠帮我把改一下setup factory 中生成16位注册码的脚本，（在线等）急！！！...
- 怎样在电脑桌面上显示计算机,怎样在电脑桌面上显示天气 - 卡饭网
- xampp使用教程php,php集成套件服务器xampp安装使用教程
- 如何在WPS文字中插入打勾（叉）方框
- 几种比较好看的颜色代码
- 【人工智能】—局部搜索算法、爬山法、模拟退火、局部剪枝、遗传算法
- 新型勒索软件PYSA浅析
- 激发学生学计算机的兴趣,[在计算机教学中如何激发学生的学习兴趣]
- 若xn＞0,且x(n+1)/xn＞1-1/n(n=1,2,...)，证明级数∑xn发散
- 使用普中科技STM32发ZEB6的准备工作：
- Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterva