Python request爬取华为P30手机京东评论

最近准备把多年的手机升级，瞅准了华为p30系列，于是就想瞅瞅评论看看，以下为源码：

import requests
import json
import re
import timecount = 0
for i in range(30):count += 1url = 'https://sclub.jd.com/comment/productPageComments.action?'string = 'productId=100004323294&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'.format(i)param = {i.split('=')[0]: i.split('=')[1]for i in string.split('&')} # 列表推导式headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36','Referer': 'https://item.jd.com/1981570.html'}r = requests.get(url, params=param, headers=headers)t = json.loads(r.text) # 将json字符还原成列表time.sleep(1)for j in range(len(t['comments'])):creationTime = t['comments'][j]['creationTime']comments = t['comments'][j]['content']comments = re.sub('\\n|\\r|\\t| ', '', comments) # 取出列表中元素并格式化with open('comments.txt', 'a', encoding='utf-8') as file:file.write(comments + '\n') # 写入文件print('\r当前进度为{:.2%}'.format(count / 30), end='')
print('\nProcess done!')

import wordcloud
import oswith open('comments.txt', 'r', encoding='utf-8') as file:f = file.read()wordmap = wordcloud.WordCloud(width=1000, height=400,margin=2)wordmap.generate(f)wordmap.to_file('wm.png')os.system('wm.png')

出来图片：

完工！！

Python request爬取华为P30手机京东评论相关推荐

python爬虫-爬取网易云音乐歌曲评论
本文借鉴了@平胸小仙女的知乎回复 https://www.zhihu.com/question/36081767 以及@lyrichu的博客 https://www.cnblogs.com/lyric ...
利用python分析电商_Python实现爬取并分析电商评论
现如今各种APP.微信订阅号.微博.购物网站等网站都允许用户发表一些个人看法.意见.态度.评价.立场等信息.针对这些数据,我们可以利用情感分析技术对其进行分析,总结出大量的有价值信息.例如对商品评论的 ...
python爬虫爬取网易云音乐歌曲_Python网易云音乐爬虫进阶篇
image.png 年前写过一篇爬网易云音乐评论的文章,爬不了多久又回被封,所以爬下来那么点根本做不了什么分析,后面就再改了下,加入了多线程,一次性爬一个歌手最热门50首歌曲的评论,算是进阶版了- 思 ...
Python爬虫-爬取手机应用市场中APP下载量
一.首先是爬取360手机助手应用市场信息,用来爬取360应用市场,App软件信息,现阶段代码只能爬取下载量,如需爬取别的信息,请自行添加代码. 使用方法: 1.在D盘根目录新建.tet文件,命名为Ap ...
python爬取华为应用商城app的标签信息
目录一.需求二.需求分析一级页面数据定位二级页面数据定位小结三.python实现:爬取[应用]需求数据四.python实现:爬取[游戏]需求数据五.[应用]信息翻页问题处理实现小结 ...
超详细解析python爬虫爬取京东图片
超详细图片爬虫实战实例讲解(京东商城手机图片爬取) 1.创建一个文件夹来存放你爬取的图片 2.第一部分代码分析 3.第二部分代码分析完整的代码如下所示: 升级版代码: 爬取过程中首先你需要观察在手 ...
Python scrapy爬取京东，百度百科出现乱码，解决方案
Python scrapy爬取京东百度百科出现乱码解决方案十分想念顺店杂可... 抓取百度百科,出现乱码把页面源码下载下来之后,发现全是乱码,浏览器打开但是浏览器链接打开就没有乱码以下是浏 ...
iphone看python文件_Python实战 | 只需 ”三步“ 爬取二手iphone手机信息（转发送源码）...
原标题:Python实战 | 只需 "三步" 爬取二手iphone手机信息(转发送源码) 本次实战是爬取二手苹果手机的信息,共爬取了300部手机信息,效果如下: 开发环境环境:M ...
python词云代码手机_【云计算】爬取淘宝手机品牌词云分析（python）
本文主要向大家介绍了[云计算]爬取淘宝手机品牌词云分析(python),通过具体的内容向大家展现,希望对大家学习云计算有所帮助. 淘宝手机信息的爬取,请看这边博客(点击这里),然后我们利用其中保存的文 ...

Python request爬取华为P30手机京东评论

Python request爬取华为P30手机京东评论相关推荐

最新文章

热门文章