Python 爬虫-图片的爬取
2017-07-25 22:49:21
import requests import osurl = 'https://wallpapers.wallhaven.cc/wallpapers/full/wallhaven-278989.jpg' root = 'E://pics//' path = root + url.split('/')[-1]def gethtml(url):# 打开网页有风险,需要使用try-except语句进行风险控制kv = {'user-agent':'Chrome/10'}try:r = requests.get(url,headers=kv)r.raise_for_status() # 如果打开失败,则会抛出一个HttpError异常# encoding是从header中分析出来的编码方式,apparent_encoding是 从内容分析出的编码方式#r.encoding=r.apparent_encodingreturn r.contentexcept:print("打开失败")if __name__ =='__main__':if not os.path.exists(root):os.mkdir(root)r = gethtml(url)with open(path,'wb') as f:f.write(r)f.close()print('图片已存储')
转载于:https://www.cnblogs.com/TIMHY/p/7236972.html
Python 爬虫-图片的爬取相关推荐
- Python爬虫实战之爬取网站全部图片(一)
Python爬虫实战之爬取网站全部图片(二) Python爬虫实战之通过ajax获得图片地址实现全站图片下载(三) 一.获得图片地址 和 图片名称 1.进入网址之后 按F12 打开开发人员工具点击e ...
- Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科 代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
- Python爬虫入门(爬取豆瓣电影信息小结)
Python爬虫入门(爬取豆瓣电影信息小结) 1.爬虫概念 网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本.爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据. 2.基本流程 ...
- Python爬虫---影评的爬取
Python爬虫-影评的爬取 介绍:爬虫练手,使用Requests库进行豆瓣影评的爬虫,做成词云图,写文章主要做一些问题解决的记录. 运行环境:python 3.8, Pycharm 关于在豆瓣爬取影 ...
- python爬虫——使用selenium爬取微博数据(一)
python爬虫--使用selenium爬取微博数据(二) 写在前面 之前因为在组里做和nlp相关的项目,需要自己构建数据集,采用selenium爬取了几十万条微博数据,学习了很多,想在这里分享一下如 ...
- Python爬虫实战之爬取糗事百科段子
Python爬虫实战之爬取糗事百科段子 完整代码地址:Python爬虫实战之爬取糗事百科段子 程序代码详解: Spider1-qiushibaike.py:爬取糗事百科的8小时最新页的段子.包含的信息 ...
- Python爬虫入门 | 5 爬取小猪短租租房信息
小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据. 小猪短租(成都)页面:http://cd.xiaozhu.com/ 1.爬取租房标题 ...
- Python爬虫实战之爬取百度贴吧帖子
Python爬虫实战之爬取百度贴吧帖子 大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 本篇目标 对百度贴吧的 ...
- Python爬虫学习之爬取淘宝搜索图片
Python爬虫学习之爬取淘宝搜索图片 准备工作 因为淘宝的反爬机制导致Scrapy不能使用,所以我这里是使用selenium来获取网页信息,并且通过lxml框架来提取信息. selenium.lxm ...
最新文章
- 比特币现金网络会看到什么样的代币?
- Crypto++库在VS 2005中的使用——RSA加解密
- 在Chrome 中调试Javascript
- 第三篇.python编辑器和集成环境01
- gradle 构建 Smack 报错:Can't find android.jar for 8 API. + steps for building android platform
- 汇编指令入门级整理 | 原力计划
- 数组遍历,判断数组中的对象中某一属性值时候为空
- 走得快?走的远?---【锻炼身体 好好学习】
- TensorFlow的新型模型优化工具包可使模型速度提高3倍
- [ExtJs4.0]数据从excle2003导入到数据库【2-1】
- Mybatis的生命周期及作用域
- Python开胃菜(1):搭建开发环境
- Office批量打印精灵4.2入门教程
- 职称论文发表教育期刊《中小学教育》杂志简介及投稿须知
- 13号线ab线规划图_北京地铁13号线拆分成这样了(附图)
- 【codeforces 707C】Pythagorean Triples
- 伦敦金走势图与顾比均线
- COMP SCI 3013 7089 - Event Driven Computing Semester java
- windows 安装微信内存清理
- 多发性硬化功能磁共振成像
热门文章
- 2019夏令营之行(下) 南大软件+北邮网研院
- 农村污水处理工程的运维相关内容介绍
- 【Java】构造器的作用是什么?使用中有哪些注意点
- vue结合饿了么_Vue.js 高仿饿了么外卖app 全套_IT教程网
- 第3讲、Cadence原理图工程以及原理图库的创建
- macbook m1 无法启动mysql服务
- 飞腾成立PhytiumKernelPatch SIG,共建openKylin社区操作系统内核繁荣生态
- 线上banner什么意思_banner什么意思,UI知识之Banner篇
- 《软件工程》— 《软件工程思想》读后感
- sketch如何做设计稿交互_《动静之美——Sketch移动UI与交互动效设计详解》历程...