python爬虫-爬取酷狗音乐top榜

酷狗音乐top500榜单就是我们今天需要爬取的对象，作为新手入门的代码，只需要将信息爬取下来即可，十分简单，不需要保存到数据库或保存到文件，仅当普通练习。
https://www.kugou.com/yy/rank/home/1-8888.html?from=rank

我们主要利用requests库和BeautifulSoup解析库

1.站点分析

下面是第一页和第二页的请求，很容易发现只需要改变home后面的数据即可翻页（别管底下的下载客户端）。

并且根据数量推断出有23页。

2.主要模块

构造多页URL

 # 构造多页URL
urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html'.format(str(i)) for i in range(1,24)]

获取信息排行、歌手名、歌曲名、歌曲时长。

 soup = BeautifulSoup(wb_data.text, 'lxml')ranks = soup.select('span.pc_temp_num')  # 排行titles = soup.select('div.pc_temp_songlist > ul > li > a')  times = soup.select('span.pc_temp_tips_r > span')  # 歌曲时长

3.代码

import requests
from bs4 import BeautifulSoupheaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36''(KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}def get_data(url):data=requests.get(url=url,headers=headers)soup=BeautifulSoup(data.text,"lxml")ranks=soup.select('span.pc_temp_num') #排名titles = soup.select('div.pc_temp_songlist > ul > li > a')  # 歌手名和歌曲名times=soup.select('span.pc_temp_time')  #时长for rank, title, time in zip(ranks, titles, times):data = {'rank': rank.get_text().strip(),'singer': title.get_text().split('-')[0],'song': title.get_text().split('-')[1],  # 通过split获取歌手和歌曲信息'time': time.get_text().strip()}print(data)if __name__=='__main__':urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html'.format(str(i)) for i in range(1,24)]for url in urls:get_data(url)  # 循环调用get_data()函数

运行结果截图：

python爬虫-爬取酷狗音乐top榜相关推荐

Python爬虫爬取酷狗音乐TOP500
Python大作业内容简介: 用Python来爬取酷狗音乐TOP500的歌曲信息,统计这500首歌曲中出现的所有歌手,并做可视化处理生成词云实验代码: import time import req ...
python爬虫——爬取酷狗音乐top500(BeautifulSoup使用方法)
酷狗音乐Top500 酷狗top500http://www.kugou.com/yy/rank/home/1-8888.html?from=rank 进入,并按F12打开开发者工具(本文以火狐浏览器为 ...
python爬虫爬取酷狗音乐
老规矩,代码先行 # -*- codeing = utf-8 -*- # @Time : 2021/2/25 13:17 # @Author : 老七疯狂吸氧 # @file 酷狗音乐.py # @S ...
爬取酷狗音乐TOP榜所有的歌曲信息
一. 构造url: 1. 进入酷狗音乐官方网站,点击酷狗TOP500,查看浏览器地址栏可以看到地址为https://www.kugou.com/yy/rank/home/1-8888.html?fr ...
Python爬虫爬取酷狗TOP500的数据
根据书籍<从零开始学Python网络爬虫>P41,综合案例2-爬取酷狗TOP500的数据修改而来. 使用模块requests和模块BeautifukSoup进行爬取. 不得不说,酷狗拿来跑 ...
python爬虫爬取酷狗top5001
前言这段时间正在学习python爬虫,今天分享一个关于酷狗音乐top500的爬虫 python库标准库 time 第三方库 requests库 BeautifulSoup库自建库 agent库( ...
Python爬虫之爬取酷狗音乐歌曲
Python爬虫之爬取酷狗音乐歌曲 1.安装第三方库在Python的语言库中, 分为Python标准库和Python的第三方库. Python标准库是在你安装Python的时候已经包含在了安装目录下 ...
Python爬虫入门——2. 2爬取酷狗音乐top1-500歌曲信息
有了第一个程序的基础,我们现在来爬取酷狗音乐top500的歌曲信息.连接http://www.kugou.com/yy/rank/home/1-8888.html 我们第一个程序只爬取了一个页面的数据 ...
Python爬虫案例：爬取酷狗音乐全排行榜歌曲
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本次目标爬取酷狗音乐全站排行榜歌曲目标地址 https://www.ku ...

python爬虫-爬取酷狗音乐top榜

1.站点分析

2.主要模块

3.代码

python爬虫-爬取酷狗音乐top榜相关推荐

最新文章

热门文章