背景

最近在调研电商平台黑猪肉市场需求情况，电商平台有效的用户评论，可以用来辅助理解客户需求。

下面对网易未央的一款猪肉评论进行抓取，并做简单分析。

网页分析

京东商城的信息储存在JSON里面，我们首先要找到储存评论的JSON。

使用谷歌浏览器，点击检查—Network，刷新进入，搜索发现储存评论的网址。

第一个网页链接打开后，发现搜索错了，并非是评论储存的地方。我们继续往下找，如下图所示的便是商品评论储存的地方了。观察URL，最后一个数字是“1”，表示评论的页数。我们可以通过for循环，爬取需要的数据。

代码如下

import urllib.request
import json
import time
import xlwt# 爬取评论信息page = int(input('请输入爬取的结束页码:'))
for i in range(0,page):print('第%s页开始爬取'%(i+1))url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=5461917&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'url = url.format(i)headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_0_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36','Referer': 'https://item.jd.com/'}request = urllib.request.Request(url=url,headers=headers)content = urllib.request.urlopen(request).read().decode('gbk')content = content.strip('fetchJSON_comment98vv385();')obj = json.loads(content)comments = obj['comments']fp = open('京东.text','a',encoding='utf8')for comment in comments:#评论内容contents = comment['content']item = {# '评论时间': creationTime,# '用户': nickname,'评论内容': contents,}string = str(item)fp.write(string + '\n')print('第%s页完成' %(i+1))time.sleep(2)fp.close()

分析结论

因需要分析的是“评论内容”，所以未爬取“评论时间”，“用户”等信息。

爬取得完后，常规操作是利用Matplotlib、Pandas等进行数据分析及可视化，现在我们用最简单的词频统计工具分析，后面学会了这些工具，在完善。

此次爬取了200页，总共2000条的评论，生成的词云如下：

从中可以得出用户购买猪肉关注的点：味道、价格、送货速度、外观、健康、售后服务、服务稳定性。这些指标在一定程度为生产经营提供了方向性参考，当然还需要进一步把这些指标拆解成具体的行动。

爬取某东购买猪肉的用户评论，为生产经营提供了方向性参考相关推荐

爬取Google Play中app的用户评论（2）
我遇到的下一个困难是如何爬取完整的用户评论如图,很多评论都是折叠起来的要是想直接获取完整的用户评论,最后只能得到空值于是我尝试另外写一个方法来获取完整的评论结果不尽人意然后我看书上的实例 ...
python爬取去哪网数据_用户观点：企查查数据爬取技术与Python 爬取企查查数据...
主体数据来源是全国工商信用网但是每个省的工商系统都不同,要针对每个省的工商系统单独写爬虫每个省的验证码也不同,也要单独做.企查查的原理不是主动爬去数据,而是有人查询该企业时,如果自己的数据库没有该企业 ...
python 爬取直播弹幕视频_调用斗鱼API爬取直播间弹幕信息（用户昵称及弹幕内容）...
调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容) 查看<斗鱼弹幕服务器第三方接入协议v1.4.1>,了解斗鱼API的使用方法,即如何连接斗鱼弹幕服务器.维持连接及获取弹幕信息 Pyt ...
爬虫项目实战一：基于Scrapy+MongDB爬取并存储糗事百科用户信息
爬虫项目实战一:基于Scrapy+MongDB爬取并存储糗事百科用户信息一.前言二.项目目标三.项目的环境配置四.项目实现 1. 创建QSBK项目 2. 实现Spider 1. 实现一页网页上 ...
爬取及分析天猫商城冈本评论（二）数据处理
前言根据之前我写的爬取及分析天猫商城冈本评论(一)数据获取方法,爬取了冈本旗舰店的所有避孕套产品的公开评论,共计30824条. 这次对这3万多条评论去做数据分析前的预处理. 数据值处理对于搜集 ...
爬取豆瓣读书的图书信息和评论信息
最近在做毕业设计,需要收集用户的评分数据做协同过滤算法,同时收集评论数据做情感分析坑点豆瓣图书可以没有评分,或者用户评论了但没给评分.而且豆瓣图书的编码方式很无奈呀,热门书籍附近总是冷门书籍,无评 ...
网络爬虫---抓包分析，用抓包分析爬取腾讯视频某视频所有评论（Fiddler工具包的分享）
抓包分析,用抓包分析爬取腾讯视频某视频所有评论(Fiddler工具包的分享) 文章目录抓包分析,用抓包分析爬取腾讯视频某视频所有评论(Fiddler工具包的分享) 一.抓包分析 1.下载工具并安装 ...
爬取网易云音乐两万条评论储存在MySQL服务器上
爬取网易云音乐两万条评论储存在MySQL服务器上最近在公司实习,无聊时看看别人的博客,发现平时学习写写博客是一个很好的学习方法,报平时一些自己写的代码保存下来,遇到的错误踩到的坑也拿出来分享也可也帮 ...
Python爬取京东iphone8的异步加载评论
运行环境 Python 3.X 寻找评论信息地址我们打开京东商城,搜索iphone8 iphone8虽然买不起,但是看看也欢迎我们点击进去查看详情往下翻,找到商品评价,点击不仅有评论,而且还有 ...

爬取某东购买猪肉的用户评论，为生产经营提供了方向性参考

背景

网页分析

代码如下

分析结论

爬取某东购买猪肉的用户评论，为生产经营提供了方向性参考相关推荐

最新文章

热门文章