以小米手环7为例,分别爬取小米手环7用户评价中的好评、中评、差评

使用工具:PyCharm Community

需要python库:requests

安装方法:File-->Settings-->Project -->Python Interpreter

代码如下:

好评:

import requests
if __name__ == "__main__":#爬取好评100页for page in range(0,100):url = 'https://club.jd.com/comment/productPageComments.action'param = {'productId': '100039939514','score': '3',       #好评score'sortType': '5','page': page,'pageSize': '10','isShadowSku': '0','fold': '1',}#UA伪装headers = {'cookie': 'shshshfpa=353c3350-9f6e-c6e4-75c2-e45fb0638a20-1677122793; shshshfpb=cYvrYbQje1MA2t7vxC5UUEw; __jdv=76161171|direct|-|none|-|1679360388347; __jdu=1677051379551729066919; areaId=14; PCSYCityID=CN_340000_340100_0; shshshfpx=353c3350-9f6e-c6e4-75c2-e45fb0638a20-1677122793; __jda=122270672.1677051379551729066919.1677051379.1677240645.1679360388.14; __jdc=122270672; jsavif=1; shshshfp=560297ae18037fe111337616ab2a555f; token=06336cfeaa30940f5c417f6798e29f98,2,932978; __tk=115a0c213a52a38c2ce94507d97fc721,2,932978; ipLoc-djd=14-1116-3431-57939; 3AB9D23F7A4B3C9B=T6XOSS2CQO2OX3CXET3VGDVF7I5HMHLXB4ZJR7Y73ZLZJCFPBJOSJNGAPFVEW5DQB6OJQEHGFPLPICSY2LRQX6UUGM; jwotest_product=99; CA1AN5BV0CA8DS2EPC=166bb245180140fcb233e32ead6800cb; PCA9D23F7A4B3CSS=7fe8a2d8af887bd902df1a00848ab151; 3AB9D23F7A4B3CSS=jdd03T6XOSS2CQO2OX3CXET3VGDVF7I5HMHLXB4ZJR7Y73ZLZJCFPBJOSJNGAPFVEW5DQB6OJQEHGFPLPICSY2LRQX6UUGMAAAAMHAHEIWMQAAAAACMTZKWKC62MG3AX; _gia_d=1; shshshsID=55c4b556288dea72398a8eb93ef6dc03_8_1679362134063; __jdb=122270672.9.1677051379551729066919|14.1679360388; JSESSIONID=D6FE691B40A1D1D5386BAA5EDD77C29D.s1','referer': 'https://item.jd.com/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}response = requests.get(url=url, params=param, headers=headers)for index in response.json()['comments']:content = index['content']print(content)with open('good_comments2.txt', mode='a', encoding='utf-8') as fp:fp.write(content)fp.write('\n')

中评:

import requests
if __name__ == "__main__":#爬取中评55页for page in range(0,55):url = 'https://club.jd.com/comment/productPageComments.action'param = {'productId': '100023000435','score': '2',     #中评score'sortType': '5','page': page,'pageSize': '10','isShadowSku': '0','fold': '1',}headers = {'cookie': 'shshshfpa=353c3350-9f6e-c6e4-75c2-e45fb0638a20-1677122793; shshshfpb=cYvrYbQje1MA2t7vxC5UUEw; __jdv=76161171|direct|-|none|-|1679360388347; __jdu=1677051379551729066919; areaId=14; PCSYCityID=CN_340000_340100_0; shshshfpx=353c3350-9f6e-c6e4-75c2-e45fb0638a20-1677122793; __jda=122270672.1677051379551729066919.1677051379.1677240645.1679360388.14; __jdc=122270672; jsavif=1; shshshfp=560297ae18037fe111337616ab2a555f; token=06336cfeaa30940f5c417f6798e29f98,2,932978; __tk=115a0c213a52a38c2ce94507d97fc721,2,932978; ipLoc-djd=14-1116-3431-57939; 3AB9D23F7A4B3C9B=T6XOSS2CQO2OX3CXET3VGDVF7I5HMHLXB4ZJR7Y73ZLZJCFPBJOSJNGAPFVEW5DQB6OJQEHGFPLPICSY2LRQX6UUGM; jwotest_product=99; CA1AN5BV0CA8DS2EPC=166bb245180140fcb233e32ead6800cb; PCA9D23F7A4B3CSS=7fe8a2d8af887bd902df1a00848ab151; 3AB9D23F7A4B3CSS=jdd03T6XOSS2CQO2OX3CXET3VGDVF7I5HMHLXB4ZJR7Y73ZLZJCFPBJOSJNGAPFVEW5DQB6OJQEHGFPLPICSY2LRQX6UUGMAAAAMHAHEIWMQAAAAACMTZKWKC62MG3AX; _gia_d=1; shshshsID=55c4b556288dea72398a8eb93ef6dc03_8_1679362134063; __jdb=122270672.9.1677051379551729066919|14.1679360388; JSESSIONID=D6FE691B40A1D1D5386BAA5EDD77C29D.s1','referer': 'https://item.jd.com/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}response = requests.get(url=url, params=param, headers=headers)for index in response.json()['comments']:content = index['content']with open('middle_comments.txt', mode='a', encoding='utf-8') as fp:fp.write(content)fp.write('\n')

差评:

import requests
if __name__ == "__main__":#爬取差评69页for page in range(0,69):url = 'https://club.jd.com/comment/productPageComments.action'param = {'productId': '100023203263','score': '1',      #差评score'sortType': '5','page': page,'pageSize': '10','isShadowSku': '0','fold': '1',}headers = {'cookie': 'shshshfpa=353c3350-9f6e-c6e4-75c2-e45fb0638a20-1677122793; shshshfpb=cYvrYbQje1MA2t7vxC5UUEw; __jdv=76161171|direct|-|none|-|1679360388347; __jdu=1677051379551729066919; areaId=14; PCSYCityID=CN_340000_340100_0; shshshfpx=353c3350-9f6e-c6e4-75c2-e45fb0638a20-1677122793; __jda=122270672.1677051379551729066919.1677051379.1677240645.1679360388.14; __jdc=122270672; jsavif=1; shshshfp=560297ae18037fe111337616ab2a555f; token=06336cfeaa30940f5c417f6798e29f98,2,932978; __tk=115a0c213a52a38c2ce94507d97fc721,2,932978; ipLoc-djd=14-1116-3431-57939; 3AB9D23F7A4B3C9B=T6XOSS2CQO2OX3CXET3VGDVF7I5HMHLXB4ZJR7Y73ZLZJCFPBJOSJNGAPFVEW5DQB6OJQEHGFPLPICSY2LRQX6UUGM; jwotest_product=99; CA1AN5BV0CA8DS2EPC=166bb245180140fcb233e32ead6800cb; PCA9D23F7A4B3CSS=7fe8a2d8af887bd902df1a00848ab151; 3AB9D23F7A4B3CSS=jdd03T6XOSS2CQO2OX3CXET3VGDVF7I5HMHLXB4ZJR7Y73ZLZJCFPBJOSJNGAPFVEW5DQB6OJQEHGFPLPICSY2LRQX6UUGMAAAAMHAHEIWMQAAAAACMTZKWKC62MG3AX; _gia_d=1; shshshsID=55c4b556288dea72398a8eb93ef6dc03_8_1679362134063; __jdb=122270672.9.1677051379551729066919|14.1679360388; JSESSIONID=D6FE691B40A1D1D5386BAA5EDD77C29D.s1','referer': 'https://item.jd.com/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}response = requests.get(url=url, params=param, headers=headers)for index in response.json()['comments']:content = index['content']with open('bad_comments.txt', mode='a', encoding='utf-8') as fp:fp.write(content)fp.write('\n')

其中重要参数来源:

打开开发者工具,快捷键F12键,或鼠标右键-->检查-->网络

url = 'https://club.jd.com/comment/productPageComments.action'

不包括?号后参数

param参数:

headers:标头-->请求标头:cookie、referer、user-agent

爬虫——python爬取京东商品用户评价相关推荐

  1. Python爬取京东商品评论数据

    一.前言 本文将承接笔者的上篇文章Python爬取京东商品数据,使用京东商品唯一id字段"sku"拼接url,得到真实的京东商品评论网址,进而解释数据并保存到文件中,所爬取到的数据 ...

  2. python爬取京东商品数据要先登录_手把手教你用python 爬取京东评论

    本次python实战,主要目标是利用 Python爬取京东商品评论数,如上图所示:爬取"Python之父"推荐的小蓝书,这些信息主要包括用户名.书名.评论等信息. 爬取的网址url ...

  3. Python爬取京东商品评论

    京东商城的页面不是静态页面,其评论信息存放于json文件中,由ajax控制,所以我们在浏览器上看到的网页源代码和用Python爬下来的是不一样的,所以我们真正要爬取的是评论数据所存放的json文件. ...

  4. Python爬取京东商品评论和图片下载

    Python爬取京东商品评论和图片下载 代码仅供学习使用,切勿扩散并且频繁爬取网站 贴上代码和注释,方便自己下次看 import requests import time import json im ...

  5. 爬虫初学——爬取京东商品的评论(一)

    最近,初学了一些爬虫的知识,然后刚好被老师要求去爬取一些评论数据(淘宝.京东等),来进行深度学习识别虚假评论.然后咋办咧,东搜搜西搜搜,看有没有什么好的办法.毕竟之前可是被反爬机制很强的网站弄得毫无头 ...

  6. python爬虫爬商品库存_python爬虫实践——爬取京东商品信息

    1 ''' 2 爬取京东商品信息:3 请求url:4 https://www.jd.com/5 提取商品信息:6 1.商品详情页7 2.商品名称8 3.商品价格9 4.评价人数10 5.商品商家11 ...

  7. Python 爬取京东商品评论 + 词云展示

    利用python爬虫爬取京东商品评论数据,并绘制词云展示. 原文链接:https://yetingyun.blog.csdn.net/article/details/107943979 创作不易,未经 ...

  8. Python爬取京东商品数据

    一.前言 由于京东反爬技术较强,使用常规方法爬取其数据行不通,且使用逆向分析技术又具有一定难度,所以本文将直接使用selenium爬取京东商品数据.若不知道怎么安装和配置selenium,请点击查阅笔 ...

  9. Python爬取京东商品信息

    *使用Python爬取京东华为手机前十页的所有商品的链接.名称.价格.评价数以及店铺名称. 1.前期准备 (1)下载驱动 我使用的是谷歌浏览器,所以要下载谷歌驱动,用来告诉电脑在哪打开浏览器. 驱动文 ...

最新文章

  1. 机器性能这么好,为什么点击右键弹出菜单还这么慢?
  2. SERV-U FTP SERVER和SERV-U MFT SERVER的区别
  3. 汇编中addr和offset
  4. 求Fibonacc数列中大于t(t3)的最小一个数 例 带入1000输出1597
  5. 前端开发~uni-app ·[项目-仿糗事百科] 学习笔记 ·008【首页开发】
  6. TRACERT命令及用法
  7. 网络体系结构——ISO/OSI参考模型
  8. struts环境搭建以及登陆功能的书写
  9. Python爬虫自学系列(四)
  10. 四种快速简单添加视频字幕的方法,总有一款适合你
  11. 深度学习图形工作站环境安装与配置(1)CUDA和cuDNN的安装
  12. excel单元格斜线_Excel 表格中斜线怎么制作?
  13. 5个适合提升自己的自学网站,每一个都很强大, 适合职场人自我提升的学习网站,利用起来,离加薪更近一步
  14. 若依前后端分离版+vue图片上传
  15. geoserver发布地图服务后不能预览,竟然变成下载WMS文件
  16. 电动汽车充电桩管理平台
  17. Java Web 网络商城案例演示一、(环境搭建)
  18. idea 设置黑色或白色背景以及图片背景
  19. 【WIN10】如何关闭右下角输入法的“拼”字
  20. XDOJ指针 字符统计

热门文章

  1. 利用ENVI进行辐射定标和投影转换
  2. mysql 连续打卡天数_Sql如何统计连续打卡天数?
  3. 医院如何玩转微信预约挂号服务
  4. python分布采样_使用Python实现正态分布、正态分布采样
  5. tar 分卷压缩和解压命令
  6. 情人节网站logo赏析
  7. openjfx(javaFX)完整学习指南(教程)
  8. 解析Monte-Carlo算法(基本原理,理论基础,应用实践)
  9. 安卓超级玛丽游戏源码完整下载
  10. 2020年金融银行行业网络信息安全、信息泄漏事件汇总