Python获取熊猫TVLOL栏所有主播信息以及人气排名

今天爬取的网页为：熊猫TV LOL栏

一，分析网页：

一共6页，我们要想办法获取所有页的信息，所以F12查看网络请求，点击第二页：

发现了这个请求

这就是我们需要的东西

所以推测

pageno参数为第几页

所以代码就好写了

二，代码实现

将需要的东西封装成类

class InfoClass:def __init__(self, id, name, lookpeople):self.name = nameself.id = idself.lookpeople = int(lookpeople)def __repr__(self):return repr((self.id, self.name, self.lookpeople))

存所有主播信息：

allpeople = []

根据pagenum获取主播信息：

def getAll(pagenum):url = "https://www.panda.tv/ajax_sort?token=&pageno=" + str(pagenum) + "&pagenum=120&classification=lol&order=top&_=1542530305175"html = requests.get(url)#获取json数据mjson = html.json()#打包成字典mdic = dict(mjson)mlist = mdic['data']['items']#遍历list加入所有主播信息for item in mlist:id = item['id']name = item['name']personNum = int(item['person_num'])newP = InfoClass(id, name, personNum)allpeople.append(newP)

获取每一页信息：

print("%-10s %-40s %-10s" % ("id房间号", "姓名", "观看人数"))
for pagenum in range(6):getAll(pagenum+1)

排序：

#根据lookpeople降序排序
li = sorted(allpeople, key=lambda InfoClass: InfoClass.lookpeople, reverse=True)
for item in li:print("%-10s %-40s %-10s" % (item.id, item.name, item.lookpeople))

至此代码完成。

完整代码：

#Create By ZZK
import requestsclass InfoClass:def __init__(self, id, name, lookpeople):self.name = nameself.id = idself.lookpeople = int(lookpeople)def __repr__(self):return repr((self.id, self.name, self.lookpeople))allpeople = []def getAll(pagenum):url = "https://www.panda.tv/ajax_sort?token=&pageno=" + str(pagenum) + "&pagenum=120&classification=lol&order=top&_=1542530305175"html = requests.get(url)# 获取json数据mjson = html.json()# 打包成字典mdic = dict(mjson)mlist = mdic['data']['items']# 遍历list加入所有主播信息for item in mlist:id = item['id']name = item['name']personNum = int(item['person_num'])newP = InfoClass(id, name, personNum)allpeople.append(newP)print("%-10s %-40s %-10s" % ("id房间号", "姓名", "观看人数"))
for pagenum in range(6):getAll(pagenum + 1)
# 根据lookpeople降序排序
li = sorted(allpeople, key=lambda InfoClass: InfoClass.lookpeople, reverse=True)
for item in li:print("%-10s %-40s %-10s" % (item.id, item.name, item.lookpeople))

运行结果GIF如下：

Python获取熊猫TVLOL栏所有主播信息以及人气排名相关推荐

Python多线程爬虫，主播信息资料爬取采集
头榜,一个集合主播信息及资讯的网站,内容比较齐全,现今直播火热,想要找寻各种播主信息,这类网站可以搜集到相关热门主播信息. 目标网址: http://www.toubang.tv/baike/list ...
用pyspider爬斗鱼主播信息
之前用request+bs4+Mongodb爬斗鱼主播信息,需要自己写很长一大段, 现在用pyspider试试.开始安装pyspider. python3.7还不支持,3.6版本直接pip insta ...
使用selenium,xpath,线程池爬取斗鱼主播信息
使用xpath,线程池爬取斗鱼主播信息: 主要爬取主播昵称,直播内容分类,房间名称,房间号以及人气,共爬取了大概110多页数据,大概15000条,保存在txt文本中, import timefrom ...
新人主播如何提高人气？这份直播间人气提升攻略，建议收藏！
直播间没人看? 直播间吸引不了新人? 直播预告推广没效果? -- 新人主播在玩抖音直播的过程中,是不是都遇到了以上的问题? 下面我将分享新人主播如何提高人气的方法与技巧,助你快速提高抖音直播间人气,打 ...
利用python获取word图表数据和修改图表信息
利用python获取word图表数据和修改图表信息起因咸鱼有个人问word怎么修改图表信息,想用docx库找不到关于图表的方法,这里用了Win32com. import time import wi ...
scrapy 斗鱼主播信息爬取
原文链接: scrapy 斗鱼主播信息爬取上一篇: scrapy 妹子图网站全站图片爬取下一篇: TensorFlow models 的slim 模块使用预训练模型进行识别 api http ...
抖音吸粉_抖音新人主播如何增加人气主播如何快速吸粉
很多抖音的朋友不知道新人主播如何增加人气,其实这种问题大部分新人主播都遇到过,接下来给大家盘点主播如何快速吸粉的解决办法. 一.娱乐搞笑方式这种方式是让网站女主播以幽默搞笑的形式吸引直播间平台上的游 ...
Python爬虫实现获取斗鱼主播信息
先下载安装Python以及其编写软件 https://www.python.org/downloads/ Python下载官网选择版本下面使用的版本为3.6.5 根据自己的操作系统的位数选择打开 ...
Python爬虫获取斗鱼主播信息
感谢参考原文-http://bjbsair.com/2020-03-27/tech-info/7150.html 下面我们进入正题首先我们进入斗鱼的官网我发现首页是一些推荐的主播,并不全面,不能 ...

Python获取熊猫TVLOL栏所有主播信息以及人气排名

Python获取熊猫TVLOL栏所有主播信息以及人气排名相关推荐

最新文章

热门文章