正则表达式|爬取百度图片

第一步：明确需求，转换图片

需求：爬取百度图片中关于头像的图片，并保存
网址：https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=头像&ie=utf-8&ie=utf-8
观察页面：图片列式以瀑布式罗列，没有一页两页，只有拉动鼠标，不断加载图片，爬取量过大，没有明确数量
转换页面：将其把瀑布式形式的数据变成传统页面形式的数据，通过index–>flip
转换后网址：https://image.baidu.com/search/flip?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=头像&ie=utf-8&ie=utf-8

2.爬取第一张图片
网页源代码–>网页右键查看原文件
ctrl+F搜索网址位置即为url

'''
第二步：爬取第一张图片
1 寻找图片url：https://img1.baidu.com/it/u=3229045480,3780302107&fm=26&fmt=auto&gp=0.jpg
2 选择清晰度更高的图片： 通过在网页源代码中查询 选择 objURL指向的图片
# 源代码中thumbURL、middleURL、hoverURL、objURL都指向图片，但是objURL图片更为清晰
# http://www.asunxf.com/public/uploads/images/149516208595569.jpg
3 爬取第一张图片
'''
import requests
url = 'https://img1.baidu.com/it/u=3229045480,3780302107&fm=26&fmt=auto&gp=0.jpg'
with open('1.jpg','wb') as f:r = requests.get(url)f.write(r.content)

3.爬取多张图片

# 通过观察数据我们发现能不能把瀑布流形式的数据变成传统页面形式的数据呢？index->flip# 先去爬取一张图片
import requests
import re
# http://img.xiami.net/images/collect/587/87/8262587_1320898545.jpg objurl
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
# 1.拿到目标的url
url = 'http://image.baidu.com/search/flip?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=88'
# 2.拿到网页的源码r = requests.get(url,headers=headers)
ret = r.text
# print(ret)
# 3.拿到图片的url
result = re.findall('"objURL":"(.*?)"',ret)
# print(result)# 4.保存图片
# a = 1
for i in result:
# url = 'http://img.xiami.net/images/collect/587/87/8262587_1320898545.jpg'# 获取图片的名字name = i[-10:]name = re.sub('/','',name)print(name)# 处理图片的格式end = re.search(r'(\.jpg|\.png|\.jpeg|\.gif)$',name)if end == None:name = name + '.jpg'with open('img/'+name,'wb') as f:# 网络问题try:r = requests.get(i)except Exception as e:print(e)f.write(r.content)# a += 1

正则表达式|爬取百度图片相关推荐

爬取百度图片(正则表达式)
在爬取百度图片的过程中,因为自己写的是转成Json的格式,但是在爬取的过程中会出现各种各样的错误,最终躺了!还是使用正则表达式比较稳. import requests import os import ...
如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
python3爬取百度图片
python3爬取百度图片最终目的:能通过输入关键字进行搜索,爬取相应的图片存储到本地或者数据库首先打开百度图片的网站,搜索任意一个关键字,比如说:水果,得到如下的界面分析: 1.百度图片搜索结 ...
HttpClient 爬取百度图片
HttpClient 爬取百度图片以前写的一篇爬取百度图片的博客是我第一次用Java接触爬虫的相关知识,当时使用的Java的原生类库,写的不是很好,特别是对于分页的处理(导致许多图片重复下载了)以及 ...
【Python】爬取百度图片和必应图片
爬取百度图片 # -*- coding: utf-8 -*- """ Created on Sun Sep 13 21:32:25 2020 @author: ydc & ...
python爬虫爬取百度图片总结_python爬虫如何批量爬取百度图片
当我们想要获取百度图片的时候,面对一张张图片,一次次的点击右键下载十分麻烦.python爬虫可以实现批量下载,根据我们下载网站位置.图片位置.图片下载数量.图片下载位置等需求进行批量下载,本文演示py ...
Python 爬虫实例（1）—— 爬取百度图片
爬取百度图片在Python 2.7上运行 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Author: loveNightimport json ...
python爬取百度图片（用于深度学习中数据集的收集）
6_python爬取百度图片(用于深度学习中数据集的收集)(6-20181225-) 参考: https://blog.csdn.net/guyuealian/article/details/7873 ...
python爬去百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...

正则表达式|爬取百度图片

正则表达式|爬取百度图片相关推荐

最新文章

热门文章