python爬图片并按标题保存_EX4 | 用Python爬取百度图片关键字猫并保存
欢迎关注微信号:student_Shang
小编是985院校小硕士一枚,欢迎关注,持续更新中~
哈喽,大家好~
在本次推送中,以百度搜索中关键字猫作为采集目标,重点采集并保存猫的图片,在本地根目录下以 图片的形式进行存储。
1 准备工作
在本次爬虫开始之前,请确保已经安装好了第三方 requests 库、BeautifulSoup 库等。如果没有安装,请使用cmd打开命令行界面,并逐行键入以下代码:
pip install requests
pip install json
2 抓取分析
本次抓取的信息内容较上一次简单。只需要利用 requests 库向指定网站发送请求,获取服务器传来的响应,随后利用 json 库完成对网页代码的解析,同时为了进一步防止触发反爬虫机制。具体分析如下:
首先,我们本次爬取的网站是
右键点击 检查 按钮,或者直接按下 F12 进入开发者界面,点开 Network 一栏,并按下 F5 刷新按钮,必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示:
这里我们可以看到,网站请求的 Request URL ,再往下翻观察 Request Headers信息,为了避免触发反爬虫机制,我们要尽量把爬虫程序做的更像是人在浏览网页。
接下来便是对网页的提取与保存,我们开始今天的爬虫工作。
3 爬取信息与保存
在安装完毕我们在一开始介绍的第三方库后,这里我们需要首先导入这些文件才能够进行后续的操作。
import requests
import json
3.1 网页请求头的设置
为了使爬虫程序模拟的更像人在操作,因此我们添加了请求过程中一些比较重要的请求头信息,并将其整理成一个请求函数,具体如下:
def get_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
}
r = requests.get(url,headers = headers)
return r
接下来我们便开始网页的爬取工作。
3.2 百度图片搜索关键字猫图片的爬取与保存
首先,我们需要对单个网页的信息进行爬取,通过对响应代码的分析,我们利用 json 库完成对代码的解析。同时将其定义为 get_pictures_url() 函数。具体如下:
def get_pictures_url(url):
r = get_page(url)
soup = json.loads(r.content)
for picture in soup.get('data'):
picture_url = picture.get('thumbURL')
if picture_url:
print(picture_url)
img = get_page(picture_url)
if img.status_code == 200:
try:
with open('./' + picture.get('di') + '.jpg','wb') as f:
f.write(img.content)
except:
pass
单个网页的内容收集完毕后,我们需要获取如何跳入下一页。这里我们发现,通过更改不同页数的网页 URL 之间的 pageNum 参数,可以实现网页之间的切换。
3.3 启动程序
最后,键入以下代码便能够实现整个程序的运行:
if __name__ == "__main__":
for i in range(10):
print('正在下载{}页'.format(i))
get_pictures_url('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&' \
'queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫' \
'&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn={}&rn=30&gsm=1e'.format(i*30))
print('下载完成')
4 总结与展望
本次爬虫程序在编写过程中,遇到了完善 Header 请求头信息遭到了 403 Forbid 的尴尬情况。在爬虫程序完成后,会在文件保存的根目录下保存 .jpg 图片的文件。此外,本次爬虫只限于对数据的爬取与保存工作,数据的分析工作留待后续进行再处理。
微信公众号:问题或建议,请公众号留言
python爬图片并按标题保存_EX4 | 用Python爬取百度图片关键字猫并保存相关推荐
- 使用python和PyQt5编写爬取百度图片的界面工具
使用python和PyQt5编写爬取百度图片的界面工具 本篇文章的主要内容是展示我个人编写的,以界面小工具的方式爬取百度上面的图片,功能很单一,根据关键词爬取图片,代码很简单,新手上路请多指教. 代码 ...
- 详细分析如何利用python批量爬取百度图片
这篇文章主要写的是利用python网络爬虫批量来爬取百度图片并保存到文件夹中. 首先我们打开百度图片这个网页:https://image.baidu.com/ 我们现在随便搜一个类型的图片,比如小狗, ...
- Python 3.5_简单上手、爬取百度图片的高清原图
利用工作之余的时间,学习Python差不多也有小一个月的时间了,路漫漫其修远兮,我依然是只菜鸟. 感觉学习新技术确实是一个痛并快乐着的过程,在此分享些心得和收获,并贴一个爬取百度图片原图的代码. 代码 ...
- Python 爬虫实例(1)—— 爬取百度图片
爬取百度图片 在Python 2.7上运行 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Author: loveNightimport json ...
- 如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
- python爬去百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
- python爬虫百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
- Python爬虫:运用多线程、IP代理模块爬取百度图片上小姐姐的图片
Python爬虫:运用多线程.IP代理模块爬取百度图片上小姐姐的图片 1.爬取输入类型的图片数量(用于给用户提示) 使用过百度图片的读者会发现,在搜索栏上输入关键词之后,会显示出搜索的结果,小编想大多 ...
- Python爬取百度图片搜索结果
爬取百度图片搜索的图片,我们先需要分析其访问 URL,我们在搜索页面,比如搜索 "abc" ,打开 F12 调试,下拉结果页面页,查看网络请求,在其中我们可以找到这样一个请求 ht ...
- 【Python】爬取百度图片和必应图片
爬取百度图片 # -*- coding: utf-8 -*- """ Created on Sun Sep 13 21:32:25 2020 @author: ydc & ...
最新文章
- asp.net httpmodule 访问页面控件 备忘
- 过程即奖励(The Journey is the Reward)
- J - One-Dimensional HYSBZ - 4688
- PHP通过DOM操作XML
- 【ABAP】SAP判断单据是否被锁定
- 神策 FM:做一名数据分析师是什么体验?
- 骆驼祥子大事件时间轴_骆驼中的事件处理
- 不能启动的问题 社区版安装后_CentOS7下安装docker(亲测+完整)
- css3 - target
- 学习笔记-记ActiveMQ学习摘录与心得(二)
- CVPR 2021 论文开放下载了!
- C语言求本金,求本金,试过了,调试了还是不行
- 陕西师范大学计算机科学学院保研院校,陕西师范大学计算机科学学院量子信息学保研细则...
- Spring MVC 入门基础(一)
- matlab头模型图像,用Matlab解《2013年数据建模比赛》图像碎片拼接题
- Ubuntu 18.04 LTS安装crossover类虚拟机平台
- 安装并使用达梦数据库
- 按计算机应用领域来分 电子邮件属于,计算机考试题库和答案.doc
- 番外篇:常见安全漏洞及解决方案
- 固态硬盘系统经常假死_win10系统更换固态硬盘经常假死的解决方法
热门文章
- Core Shell: 在macOS上高效管理SSH服务器
- CNPM 安装 angular项目
- android和平精英安装目录,和平精英画质文件路径 路径步骤
- JAVA版本:给定一个字符串,返回字符串中小写英文字母的个数、数字个数以及其他字符的个数
- Cefsharp开发中遇到的问题
- java的两种比较器
- python解多元多次方程组_多元一次不定方程解的个数
- pandas使用read_excel函数读取excel表格数据为dataframe、设置sheet_name参数为表单索引位置列表则读取多个表单的数据并返回dataframe字典
- qt实现的五子棋小游戏(Qpainter)
- edis内部数据结构详解(6)——intset