qq 音乐 python 登录_手把手教你使用Python抓取QQ音乐数据(第一弹)
【一、项目目标】
获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。
由浅入深,层层递进,非常适合刚入门的同学练手。
【二、需要的库】
主要涉及的库有:requests、json、openpyxl
【三、项目实现】
1.了解 QQ 音乐网站的 robots 协议
只禁止播放列表,可以操作。
3.输入任意歌手,比如邓紫棋
4.打开审查元素(快捷键 Ctrl+Shift+I)
5.分析网页源代码 Elements,发现无歌曲信息,无法使用 BeautifulSoup,如下图所示,结果为空。
6.点击 Network,看数据在不在 XHR(无刷新更新页
面),我的经验是先看 Size 最大的,然后分析 Name,
查看 Preview,果然在里面!
7.点击 Headers,拿到相关参数。如下图,仔细观察
url 与 Query String Parameters 参数的关系,发现
url 中的 w 代表歌手名,p 代表页数。
8.通过 json 代码实现,首先小试牛刀,爬取第一页
的数据,url 直接复制过来。成功!
9.引入 params 参数,实现指定歌手、指定页数的查询。
注意代码url为上一步url中“?”之前的部分, params两边的参数都需要加 ’’,requests.get 添加 params,参数(也可顺便添加 headers 参数)
添加存储功能,保存到本地(Excel)。也可保存为 csv 格式或存入数据库,操作类似。
【四、总结】
1.爬取 QQ 音乐比爬取豆瓣等网站稍难,所需信息不在网页源代码,需查看 XHR;
2.通过 XHR 爬取数据一般要使用 json,格式为:
*
*
*
res = requests.get(url)
json = res.json()
list = json[‘’][‘’]…
3.仅供练手参考,不建议爬取太多数据,给服务器增大负载;
4.Python 爬取 QQ 音乐数据(二)将为大家带来如何爬取指定歌曲的歌词及评论(selenium),并生成词云图(wordcloud),敬请期待。
5.需要本文源码的话,请在公众号后台回复“QQ音乐”四个字进行获取。
看完本文有收获?请转发分享给更多的人
IT共享之家
入群请在微信后台回复【入群】
想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/
qq 音乐 python 登录_手把手教你使用Python抓取QQ音乐数据(第一弹)相关推荐
- python爬取音乐源码_手把手教你使用Python抓取QQ音乐数据(第一弹)
[一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json ...
- python爬取京东商品数据要先登录_手把手教你用python 爬取京东评论
本次python实战,主要目标是利用 Python爬取京东商品评论数,如上图所示:爬取"Python之父"推荐的小蓝书,这些信息主要包括用户名.书名.评论等信息. 爬取的网址url ...
- 怎么退出python虚拟环境_手把手教你进行Python虚拟环境配置
/1 前言/ 咱们今天就来说一下Python的虚拟环境,可能有的小伙伴会疑惑,Python的虚拟环境有什么用呢?接下来我们一起来探讨一下. /2 虚拟环境的作用/ 咱们今天就来说一下Python的虚拟 ...
- python复工_手把手教你使用Python批量创建复工证明-阿里云开发者社区
/1 前言/ 受疫情影响,2020年2月份.3月份企业复工需为员工开具复工证明.因本公司人数较多,复制粘贴工作量巨大,特此为行政同事写此小工具,现与诸位共享. /2 目标/ 1.实现批量将 Excel ...
- python图像分类_手把手教你用Python构建你的第一个多标签图像分类模型(附案例)...
介绍 你正在处理图像数据吗?我们可以使用计算机视觉算法来做很多事情:对象检测 图像分割 图像翻译 对象跟踪(实时),还有更多-- 这让我思考--如果一个图像中有多个对象类别,我们该怎么办?制作一个图像 ...
- python处理时间序列非平稳_手把手教你用Python处理非平稳时间序列
简介 预测一个家庭未来三个月的用电量,估计特定时期道路上的交通流量,预测一只股票在纽约证券交易所交易的价格--这些问题都有什么共同点? 它们都属于时间序列数据的范畴!如果没有"时间" ...
- 小猪的Python学习之旅 —— 14.项目实战:抓取豆瓣音乐Top 250数据存到Excel中
小猪的Python学习之旅 -- 14.项目实战:抓取豆瓣音乐Top 250数据存到Excel中 标签:Python 一句话概括本文: 利用Excel存储爬到的抓取豆瓣音乐Top 250数据信息,还有 ...
- 手把手教你入侵网站修改数据_手把手教你使用Python抓取QQ音乐数据(第四弹)...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
- python爬取qq音乐歌曲链接为什么播放不出来_手把手教你使用Python抓取QQ音乐数据(第一弹)...
原标题:手把手教你使用Python抓取QQ音乐数据(第一弹) [一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. ...
最新文章
- vj p1042捕风捉影 题解
- 约等于全自动爬取CVE基础信息
- vue 打包html静态页面,Vue.js打包部署到服务器路径资源和页面404
- G4Sui老师的pair project(197)
- mysql单点故障_如何解决云服务商单点故障频发的问题?
- 编写基于事件的CQRS读取模型
- css - clearfix-清除浮动
- 新的生活,新的工作,新的挑战
- 【白皮书下载】2020中国社交零售白皮书-BCGx腾讯.pdf
- POST提交数据之---Content-Type的理解;
- 暑期OI大电影——不看后悔整个OI生涯!
- 持久层框架:Mybatis快速入门
- Meshless Deformations Based on Shape Matching
- Ubuntu 20.04LTS 搜狗输入法不显示图标
- html中怎么去除多余的代码,去除HTML代码中所有标签的两种方法
- 微信分享开发:准备工作[微信公众平台以及微信中控服务配置](一)
- Linux IP代理筛选系统
- 乘风破浪的码农——仿佛身体被掏空
- Matlab三维绘图------三维曲线图
- 转载:Python 的关键字 yield 有哪些用法和用途?