用Python爬取了三大相亲软件评论区,结果…
小三:怎么了小二?一副愁眉苦脸的样子。
小二:唉!这不是快过年了吗,家里又催相亲了 ...
小三:现在不是流行网恋吗,你可以试试相亲软件呀。
小二:这玩意靠谱吗?
小三:我也没用过,你自己看看软件评论区吧。
小二:这 ... 不过也只能先到评论区看看了。
本文以 360 手机助手为例,地址为:http://zhushou.360.cn/
,相亲软件选择 3 个比较流行的,分别为:世纪佳缘、百合婚恋、有缘网,我们使用 Python 爬取软件评论区,看看用户评价情况。
先来看一下这三款软件的下载量和好中差评占比情况(下图单位为万次)。
下面开始爬取评论区,以世纪佳缘为例,首先,在搜索框输入世纪佳缘进行搜索,如图所示:
接着,点击搜索到的软件进入其详情页,如图所示:
将页面向下拉就可以看到评论区了,如图所示:
此时打开开发者工具并选择Network
项,点击查看更多评论
,然后可以看到getComments
请求,如图所示:
通过这个请求我们就可以动态获取评论区数据了,其中参数star
为开始的评论索引,参数count
为每次加载的评论个数,可以通过参数callback
、baike
指定不同应用,爬取代码实现如下:
headers = {"Accept": "*/*","Accept-Encoding": "gzip, deflate, sdch","Accept-Language": "zh-CN,zh;q=0.8","Connection": "keep-alive","Host": "comment.mobilem.360.cn","User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
}
def comment_spider(param, file_name):base_url = "http://comment.mobilem.360.cn/comment/getComments?c=message&a=getmessage&&count=50"start = 0for i in range(1, 50):print("第{}页".format(i))url = base_url + param + "&start=" + str(start)r = requests.get(url, headers=headers)data = re.findall("{\"errno\"(.*)\);}catch\(e\){}", r.text)# 转为 Json 格式jdata = json.loads("{\"errno\"" + data[0])for message in jdata["data"]["messages"]:content = message["content"]print(content)with open(file_name + ".txt", "a", encoding="utf-8") as f:f.write(content)start = start + 50time.sleep(2)
我们将爬取的评论数据存到了 txt 文件中。
接着,我们将评论数据进行词云展示,代码实现如下:
with open("yy.txt", "r", encoding="utf-8") as f:content = f.read()stylecloud.gen_stylecloud(text=content, max_words=600,collocations=False,font_path="SIMLI.TTF",icon_name="fas fa-heart",size=800,output_name="yy.png")Image(filename="yy.png")
最后,通过词云看一下用户对上述软件的评价情况。
世纪佳缘:
百合婚恋:
有缘网:
小二:看了有缘网的评论,我感觉自己和相亲软件无缘 ...
小三:...
用Python爬取了三大相亲软件评论区,结果…相关推荐
- python 爬取亚马逊评论_用Python爬取了三大相亲软件评论区,结果...
小三:怎么了小二?一副愁眉苦脸的样子. 小二:唉!这不是快过年了吗,家里又催相亲了 ... 小三:现在不是流行网恋吗,你可以试试相亲软件呀. 小二:这玩意靠谱吗? 小三:我也没用过,你自己看看软件评论 ...
- 用Python爬取了三大相亲软件评论区,结果...
小黑:怎么了小白?一副愁眉苦脸的样子. 小白:唉!这不是快过年了吗,家里又催相亲了 - 小黑:现在不是流行网恋吗,你可以试试相亲软件呀. 小白:这玩意靠谱吗? 小黑:我也没用过,你自己看看软件评论区吧 ...
- python 爬取软件_用Python爬取了三大相亲软件评论区,结果...
小三:怎么了小二?一副愁眉苦脸的样子. 小二:唉!这不是快过年了吗,家里又催相亲了 ... 小三:现在不是流行网恋吗,你可以试试相亲软件呀. 小二:这玩意靠谱吗? 小三:我也没用过,你自己看看软件评论 ...
- 用Python爬取了三大相亲软件评论区!结局居然是这样!
小三:怎么了小二?一副愁眉苦脸的样子. 小二:唉!这不是快过年了吗,家里又催相亲了 ... 小三:现在不是流行网恋吗,你可以试试相亲软件呀. 小二:这玩意靠谱吗? 小三:我也没用过,你自己看看软件评论 ...
- 利用python爬取东方财富网股吧评论并进行情感分析(一)
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取 分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
- python 爬取携程旅游景点评论
python爬取携程旅游景点评论 爬取网址:https://you.ctrip.com/ 爬取评论全部代码 import requests import json import re import t ...
- python爬取国家男女比例_用python爬取3万多条评论,看韩国人如何评价韩国电影《寄生虫》?...
用python爬取3万多条评论,看韩国人如何评价韩国电影<寄生虫>? 朱小五 凹凸数据 大家好,我是朱小五 今天给大家带来一个关于电影的数据分析文章. 别走啊,这次不是豆瓣,也不是猫眼 真 ...
- python爬取携程景区用户评论
python爬取携程景区用户评论(爬虫时遇到翻页但url不变问题时的解决办法) python爬取携程景区用户评论 Ajax页面加载的页面和普通页面的不同 解决办法 效果 python爬取携程景区用户评 ...
- python爬取网抑云音乐评论
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一.python爬取网抑云音乐评论 前言 提示:这里可以添加本文要记录的大概内容: python爬取网抑云音乐评论 提 ...
最新文章
- AutoML很火,过度吹捧的结果?
- Windows 2012 下Redmine安装和环境搭建
- C# 截取图片的方法
- max file descriptors_年轻族的战场!宋MAX强势对比嘉际
- DOS 批量修改文件名
- docker部署aliyundrive-webdav实现阿里云盘WebDAV服务
- python中 是什么运算_“是”运算符在Python中做了什么?
- 高一计算机专业班主任工作总结,07计算机5班班主任工作总结
- 宝藏软件:“小狼毫” 一款开源牛叉输入法
- Caliburn.Micro WPF教程——创建项目
- 微波雷达感应开关,雷达感应智能模块,照明节能环保技术应用
- docker拉取镜像报错unexpected EOF的解决方法
- linux离线安装sails,关于sails 初学者常见问题汇总(示例代码)
- android 小米8底部有一大片黑色
- 人工神经网络原理及应用,人工神经网络教程PDF
- Go unkown reversion问题解决
- python背诵技巧_精选22个Python实用技巧,秀技能必备这份技术列表!
- 基于RFID定位技术的资产管理--新导智能
- 腾讯云直播答题方案解析
- MacOS 安装 Android Debug Bridge (ADB)
热门文章
- 仿qq空间java源码_android 发说说动态源码下载(高仿QQ空间,含图片多选)
- 常见 SQL 语句的加锁分析
- unity飞行模拟游戏源码,支持安卓+IOS双端 unity2019 C#语言开发
- Solr教程--官方自带数据的三个练习及讨论翻译版本
- phy RTL8211FS配置
- 开源数据访问组件Smark.Data 1.8入门编
- 线上VR云展馆之线上展会如何开展?
- linux所请求的操作需要超级用户权限,详解Linux系统中的root权限控制
- polyfill的含义
- Linux Suse 查看 wwn 号 的方法