一、爬虫部分

# 爬虫部分是一个网友写的，我也没有仔细研究。大致看了一眼，难度不高，如果有需求
我可以出一套爬虫的教程，今天就直接惨杂点注释直接看代码吧。# 模块导入
import requests,json# 循环换页
for page in range(2):# 请求地址url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100034710036&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1".format(page)# 发送请求resp=requests.get(url)# json解码ls=json.loads(resp.text[20:-2])["comments"]# 循环输出for coment in ls:print("颜色:{},名字：{},内存:{},评论：{}".format(coment["productColor"],coment["nickname"],coment["productSize"],coment["content"]))

二、Pandas存Excel

直接放完整代码

# 导入模块
import pandas
import requests,json# 创建空字典
data = {"productColor":[],"nickname":[],"productSize":[],"content":[]
}# 循环换页
for page in range(2):# 请求地址url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100034710036&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1".format(page)# 发送请求resp=requests.get(url)# json解码ls=json.loads(resp.text[20:-2])["comments"]# 循环输出改为存入data字典for coment in ls:# print("颜色:{},名字：{},内存:{},评论：{}".format(coment["productColor"],coment["nickname"],coment["productSize"],coment["content"]))# 颜色data['productColor'].append(coment["productColor"])# 名字data['nickname'].append(coment["nickname"])# 内存data['productSize'].append(coment["productSize"])# 评论data['content'].append(coment["content"])# print(data)# 将数据转换为DF类型
df_response = pandas.DataFrame(data)# 直接to_excel
df_response.to_excel('response.xlsx',index=False)

request+pandas采集京东数据存入excel相关推荐

把数据存入excel文件_Python从原Excel表中抽出数据存入同一文件的新的Sheet(实例53)...
"物料表"中包含全年12个月的领用记录,现在要求将5月和8月的记录筛选出来新建工作表存放,并从原表中将这部分数据删掉. 于是乎,开始写码.先导入pandas库,然后指定标题行(he ...
Python练习猜拳，利用while循环自定义函数，结果数据存入excel表格
题目: 设计一个猜拳小游戏,系统出一个石头.剪刀或布:用户输入一个石头.剪刀或布:1代表石头,2代表剪刀,3代表布,或输入shitou.石头等均可识别. 游戏玩到用户赢了系统为止,并将结果输入到指定位 ...
python如何将字典数据存入excel
真的是很气啊!!!今天写一个大数据的项目,想将结果生成excel,于是寻求百度帮助.发现现在百度的博客风气十分让人难受.我先附上我的解决算法,再发牢骚. import os import re imp ...
matlab txt写入excel,怎么把matlab的GUI文本编辑器中的数据存入EXCEl
满意答案 [file,path]=uiputfile({'*.xls','Excel'},'open'); if file xlswrite([path file],str2num(get(handl ...
Python爬虫实战：爬取贝壳网二手房成交数据，将数据存入Excel。
import requests import xlrd as xlrd from xlutils.copy import copy from lxml import etree def getData ...
python 使用 pandas 将 json 数据转换为 excel 数据
111.txt {"11": 11, "22": 22} {"11": 11, "33": 33} 脚本 import ...
Python实训day12am【网络爬虫大作业简略解析：动态生成html页面、数据写入Excel】
Python实训-15天-博客汇总表目录 1.HTML页面设计 2.生成每个城市的HTML页面 2.1.HTML页面代码(weatherTemplate.html) 2.2.实例代码-动态生成htm ...
python爬虫怎么爬小说_Python 新手] 爬虫练习：爬取起点中文网的小说排行并存入 excel 表格中...
使用的 python 库 1.request 库,用于向服务器发起请求信息. 2.lxml 库,用于解析服务器返回的 HTML 文件. 3.time 库,设置爬取时间差,防止短时间内多次页面请求而被限 ...
Python爬取图片、视频以及将数据写入excel的方法小摘要
Python爬取图片.视频以及将数据写入excel的方法小摘要 1.爬取图片 2.爬取视频 3.将获取的数据存入excel 4.备注 1.爬取图片 import requests #导入request ...

request+pandas采集京东数据存入excel

一、爬虫部分

二、Pandas存Excel

request+pandas采集京东数据存入excel相关推荐

最新文章

热门文章