python爬虫商品信息，并生成Excel

刚开始学习爬虫，记录一下。
我爬了一页的数据，想要爬取多页的，只需要遍历，改变url中最后的数字，44是一页显示的条数，第二页就是2*44，以此类推。
url中q后面是你要搜索的关键字，可以根据自己需求更改

import requests
import re
import xlwturl = 'https://s.taobao.com/search?q=%E5%92%96%E5%95%A1&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20180920&ie=utf8&style=grid&sort=sale-desc&s=44'
heads = {'User-Agent': '从浏览器复制','cookie': 'cokie从浏览器登录后复制就可以了'
}response = requests.get(url, headers=heads)
content = response.textimg_pat='"pic_url":"(//.*?)"'#商品图片
name_pat='"raw_title":"(.*?)"'#商品名字
nick_pat='"nick":"(.*?)"'#淘宝店铺名称
price_pat='"view_price":"(.*?)"'#商品价格
fee_pat='"view_fee":"(.*?)"'#运费
sales_pat='"view_sales":"(.*?)人收货'#收货人数
comment_pat='"comment_count":"(.*?)"'#商品评论数，
city_pat='"item_loc":"(.*?)"'#淘宝店所在城市
detail_url_pat='detail_url":"(.*?)"'#商品详细地址nameL=re.compile(name_pat).findall(content)
priceL=re.compile(price_pat).findall(content)
salesL=re.compile(sales_pat).findall(content)
cityL=re.compile(city_pat).findall(content)wb = xlwt.Workbook()
ws = wb.add_sheet('point')
ws.write(0, 0, "商品名称")
ws.write(0, 1, "价格")
ws.write(0, 2, "销量")
ws.write(0, 3, "发货地")
for j in range(len(nameL)):ws.write(j+1, 0, nameL[j])ws.write(j+1, 1, priceL[j])ws.write(j+1, 2, salesL[j])ws.write(j+1, 3, cityL[j])
wb.save('./咖啡.xls')

python爬虫商品信息，并生成Excel相关推荐

python爬虫--租房信息
对小猪住房网站的信息爬取一.准备二.爬取的内容明细三.这里直接写代码四.输出结果一.准备谷歌浏览器打开 http://bj.xiaozhu.com/fangzi/37609773603.h ...
【定制开发】【M11】Python采集数据源，自动生成Excel报表：避免人力浪费，提高工作效率
目录一.背景二.采集数据源 2.采集[氮氨]数据 3.采集[COD 化学需氧量]数据 4.采集[总氮]数据三.输出Excel内容样式 1.输出文件命名格式 2.文件内容格式详述四.解决方案 1 ...
Python爬取淘宝商品信息保存到Excel
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python+shell 批量获取服务器信息并且生成excel表
我们工作中,经常需要获取服务器的一些信息,包括软件的和硬件的.例如刚刚接收的服务器,需要批量获取信息确认硬件配置是否符合我们需求,或者维护很长时间的服务器,中间变动了很多,但是服务器信息没有更改,这个 ...
python爬虫--招聘信息
对职友集招聘网站的爬虫一.对职友集的python爬虫代码如下: 输出结果: headers错误信息处理一.对职友集的python爬虫由于网页更新标签,现在(20190605)更新代码,可以正常 ...
python数据导出excel_python 数据生成excel导出（xlwt,wlsxwrite）代码实例
这篇文章主要介绍了python 数据生成excel导出(xlwt,wlsxwrite)代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下话不多 ...
[python爬虫] 招聘信息定时系统 (一).BeautifulSoup爬取信息并存储MySQL
这系列文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为当前天的,同时将爬取的内容保存到数据库中,然后制作定时系统每天执行爬取,最后是Python调用相关库发送短信到手机. ...
Python 每日定时查询数据库生成Excel报表，并群发邮件
最近在做游戏打点数据的一些统计处理,写了个Python脚本完成每日定时自动查询生成Excel报表并群发邮件的小功能. 拆解几个需求点: 一.连接数据库并查询以下是一个查询总注册人数的示例代码,hos ...
Python爬虫requests模块在线生成请求头
写爬虫的时候,请求头几乎是必写的,但是写起来有点繁琐,虽然不难,但是麻烦,所以这时候,一个自动生成请求头的方法就显得很重要了在线生成请求头 https://curlconverter.com/ 使用 ...

python爬虫商品信息，并生成Excel

python爬虫商品信息，并生成Excel相关推荐

最新文章

热门文章