使用selenium抓取网易云音乐数据

今天通过一个简单的网易云音乐排行榜数据抓取与音乐下载实战案例，带着大家一起来学习如何抓取动态生成的页面内容。网易云音乐排行榜网址：https://music.163.com/#/discover/toplist，界面效果如下。

查看页面源代码，发现并没有这些歌曲信息，说明这些内容都是通过JavaScript动态生成的。使用普通的requests库无法直接获取相关内容，这里我们采用Selenium模拟人操作浏览器，从而获取动态生成的内容。（Selenium是一个用于Web应用程序测试的工具，Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，Python中Selenium库的安装与使用请参考另一篇博文：Selenium + Chrome 网络爬虫学习笔记）

以第 2 首歌 以梦为马 为例，将鼠标放在文字上方，右键选择检查（不同浏览器叫法可能不一样）即可打开网页分析工具，如下图所示。可知网页中使用了框架，音乐排行榜内容所在框架的id为"g_iframe"。

抓取网易云音乐排行榜数据的关键代码如下：

这里的关键是要切换到指定的页面框架中去，即 browser.switch_to.frame("g_iframe")，否则无法获取相关内容。

运行后，控制台打印结果如下（部分内容截图）：

获取到音乐详情网址和音乐ID后，可以跳转页面进一步获取更多关于音乐的信息，例如作词、作曲、制片人、歌词、评论等，甚至可以直接下载音乐，主要流程都是类似的，不同的是页面解析的xpath有所不同，感兴趣的同学可以深入拓展，遇到问题可以在评论区交流。

相关代码可以关注微信公众号：Python资源分享，回复网易即可获取。

使用selenium抓取网易云音乐数据相关推荐

selenium抓取网易云音乐评论及歌曲信息
最近在研究springboot,就想着结合爬虫做个网易云音乐在线搜索的功能,先上波效果图把抓取使用的是selenium+chormedriver,也试过phantomsjs,但是对于页面的元素等待好 ...
python3之Scrapy+Selenium切换iframe抓取网易云音乐排行榜
Scrapy+Selenium切换iframe抓取网易云音乐排行榜 iframe标签 Selenium (WEB自动化工具) Scrapy 框架 iframe标签了解一下iframe 百度百科介绍的 ...
python音乐的数据抓取与分析_python抓取网易云音乐热评做词图数据分析
最近就有一部"怀旧"题材的电影,未播先火,那就是刘若英的处女作--<后来的我们>.青春,爱情,梦想,一直是"怀旧"题材的核心要素,虽然电影现在还未上 ...
python3爬取网易云歌单数据清洗_网页抓取网易云音乐及评论数据分析
网页抓取网易云音乐及评论数据分析游贤成都理工大学信息科学与技术学院 [摘要] 摘要:为了分析网易云音乐中哪些歌曲是热门歌曲,哪些歌曲的评论最多,从而了解到人们对于不同音乐类型的喜爱程度,采用成 ...
python爬取网易云歌单_详解python selenium 爬取网易云音乐歌单名
目标网站: 首先获取第一页的数据,这里关键要切换到iframe里打印一下获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错. 结果: 一共37页,爬取完毕后关闭浏览器完整代码: u ...
python爬虫网易云音乐最热评论并分析_Python3实现爬虫抓取网易云音乐的热门评论分析（图）...
这篇文章主要给大家介绍了关于Python3实战之爬虫抓取网易云音乐热评的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧. ...
python爬虫网易云音乐评论最多的歌_Python3实战之爬虫抓取网易云音乐的热门评论...
前言之前刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
Python3爬虫抓取网易云音乐热评实战
前一段时间刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
Selenium爬取网易云音乐评论
Selenium爬取网易云音乐评论一.爬取工具 1.1 selenium selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库. Sele ...

使用selenium抓取网易云音乐数据

使用selenium抓取网易云音乐数据相关推荐

最新文章

热门文章