python爬虫实践----爬取京东图片

爬虫思路：
1.分析url:

http://list.jd.com/list.html?cat=9987,653,655&page=1# url只有page变化，而page代表了页数

提取url内容并正则匹配出需要的内容

urllib.request.urlopen(url).read();
# 读取指定url的全部内容

下面是根据正则的re库匹配出所需要的dom节点

3.根据匹配出的图片url筛选出图片并下载图片

4.最后通过循环，遍历出所有的页数

完整代码：

import re
import urllib.requestdef craw(url,page):## 读取url地址中的页面html1 = urllib.request.urlopen(url).read();## 读取url的全部信息并转为字符串html1 = str(html1);##匹配元素1---父节点pat1 = '<div id="plist".+? <div class="page clearfix">';result1 = re.compile(pat1).findall(html1);result1 = result1[0];##匹配元素2--子节点pat2='<img width="220" height="220" data-img="1" data-lazy-img="//(.+?\.jpg)">';imagelist=re.compile(pat2).findall(result1);x=1;for imgurl in imagelist:#设置地址跟爬取图片的地址imagename="F:/pythonB/img/"+str(page)+str(x)+".jpg";imgurl= "http://" +imgurl;print(imgurl);try:#保存图片并定义图片名字urllib.request.urlretrieve(imgurl,filename=imagename)except urllib.error.URLError as e:if hasattr(e, "code"):x+=1;if hasattr(e, "reason"):x+=1;x+=1;for i in range(1,79):url = 'http://list.jd.com/list.html?cat=9987,653,655&page='+str(i)craw(url,i);

最后得到所有的图片：

python爬虫实践----爬取京东图片相关推荐

python爬虫实践-爬取京东商品图片
这段时间,因为疫情在家无聊,想起了网络爬虫,之前有写过使用requests库,又学了下使用urllib库,在这里记录下学习过程. 首先使用的IDE是pycharm,解释器版本3. 第一步:分析某东的u ...
python爬虫爬商品库存_python爬虫实践——爬取京东商品信息
1 ''' 2 爬取京东商品信息:3 请求url:4 https://www.jd.com/5 提取商品信息:6 1.商品详情页7 2.商品名称8 3.商品价格9 4.评价人数10 5.商品商家11 ...
Python爬虫：爬取京东商品简介
Python爬虫目录导航 1.前言目的关于爬虫关于Python 2.准备工具安装第三方库和包 3.敲代码 1.爬取网站信息 2.筛选需要的信息 3.持久化数据 4.扩展(分页爬取) 4.代 ...
方法教程 | Python爬虫：爬取风景图片
"突发奇想,给各位爬爬壁纸图片,话不多说,开始行动.如果文章对你有帮助,点赞,收藏." 一,知道爬取自己想要的壁纸图片网址模型写出来 '''爬取网络图片1,要到主页面的 ...
利用python爬虫大量爬取网页图片
最近要进行一类图片的识别,因此需要大量图片,所以我用了python爬虫实现一.爬取某一图片网站主要参考:https://www.cnblogs.com/franklv/p/6829387.html ...
Python爬虫将爬取的图片写入world文档
作为初学爬虫的我,无论是爬取文字还是图片,都可以游刃有余的做到,但是爬虫所爬取的内容往往不是单独的图片或者文字,于是我就想是否可以将图文保存至world文档里,一开始使用了如下方法保存图片: with ...
Python爬虫——关键字爬取百度图片
在日常生活中,我们经常需要使用百度图片来搜索相关的图片资源.而如果需要大量获取特定关键字的图片资源,手动一个个下载无疑十分繁琐且费时费力.因此,本文将介绍如何通过Python爬虫技术,自动化地获取百度 ...
Python爬虫——批量爬取微博图片（不使用cookie）
引言:刚开始我想要爬取微博的照片,但是发现网上大多数的blog都是需要一个cookie的东西,当时我很难得到,偶然翻到一个个人的技术博客: http://www.omegaxyz.com/2018/0 ...
Python爬虫：爬取网页图片
目录开始: 分析与步骤: 第一步第二步第三步第四步最后: 开始: 最近在自学爬虫,自己也做了一些实例,(自认为)写的比较好的就是对整个网站的爬取了.接下来我将会说一说我使用的工具及方法. 注 ...

python爬虫实践----爬取京东图片

完整代码：

python爬虫实践----爬取京东图片相关推荐

最新文章

热门文章