并发图片下载器模拟实现(小开心)

首先爬取百度页面信息

import urllib.request
req = urllib.request.urlopen("http://www.baidu.com")

爬取一个页面的信息

import urllib.requestdef main():req = urllib.request.urlopen("")img_content = req.read()with open ("1.jpg","wb") as f:f.write(img_content)
if __name__ == "__main__":main()

import gevent
import urllib.request
from gevent import monkeymonkey.patch_all()def downloader(img_name,img_url):req = urllib.request.urlopen(img_url)img_content = req.read()with open ("img_name","wb") as f:f.write(img_content)def main():gevent.joinall([gevent.spawn(downloader,"所爱隔山海.jpg","http://m.qpic.cn/psb?/V137i62V0ZvkQt/jNZf8MU0MrKAE2CFLlXR8pKGAoX1yergvCLLeyBXrDA!/b/dEoAAAAAAAAA&bo=OARgAgAAAAARB24!&rf=viewer_4")，gevent.spawn(downloader,"山海亦可平.jpg"，"http://m.qpic.cn/psb?/V137i62V0ZvkQt/BguxEGUetsqE00IVHkN5t6R9*HnhT7GvDxszsTnN6qo!/b/dCYAAAAAAAAA&bo=vwO*AwAAAAARFyA!&rf=viewer_4&t=5")
])if __name__ == "__main__":main()

进程线程协程简单总结

进程是资源分配的单位
线程是操作系统调度的单位
进程切换需要的资源最大，效率最低
线程切换需要的资源一般，效率一般（当然实在不考虑GIL锁的情况下）
协程需要的资源最少，效率高
多进程、多线程根据cpu核数不一样可能是并行的，但是协程一定是并发的

并发图片下载器模拟实现(小开心)相关推荐

【kimol君的无聊小发明】—用python写图片下载器
[kimol君的无聊小发明]-用python写图片下载器前言一.单线程版二.多线程版写在最后 Tip:本文仅供学习与参考,且勿用作不法用途~ 前言某个夜深人静的夜晚,我打开了自己的文件夹,发 ...
装X利器：做一个Python爬虫小工具——图片下载器
一.项目描述前言: 这是一个非常简单的网络爬虫,非常适合初学者了解Python连接网络的初级操作: 平时,如果我们要在网络上下载图片,大家的做法通常是右键,然后图片另存为,但是我们是程序员,我们当然 ...
java爬虫写一个百度图片下载器
文章目录 img_download 1.0 看看效果吧 2.0 了解一下 "图片下载器软件" 目录结构 3.0 如何使用? 4.0 源码剖析 5.0 项目地址 6.0 写在最后的话 ...
用python爬虫制作图片下载器(超有趣!)
这几天小菌给大家分享的大部分都是关于大数据,linux方面的"干货".有粉丝私聊小菌,希望能分享一些有趣的爬虫小程序.O(∩_∩)O哈哈,是时候露一手了.今天给大家分享的是一个适合 ...
网页图片下载器-免费网页图片批量下载器
网页图片下载器,今天给大家分享一款免费网页图片批量下载器,支持任意格式的图片批量下载,只需要输入关键词或批量导入网页链接即可下载图片.让每个人都可以拥有各种高清图源.同时还支持图片批量压缩/放大/添加 ...
简单图片下载器 - 豆瓣小说图书封面下载连续多页
写了一个简单的图片下载器,可以连续多页,直到没有[下一页]. 特别注意的是header里一定要添加上Cookie,要不然抓取的是假数据.获取Cookie,可以用浏览器开发者工具来辅助. 而且添加了时间 ...
爬虫图片下载器：从图片分享网站下载图片并进行分类整理
目录前言 1. 图片下载器概述 2. 环境准备 3. 分析目标网站 4. 使用Python编写图片下载器 4.1 安装依赖库 4.2 获取图片链接 4.3 下载图片 4.4 图片分类整理 5. 总结 ...
虹影图片下载器(Preview)
虹影图片下载器,支持从image.google.com.image.baidu.com.image.yahoo.com.image.tom.com自动下载搜索到的图片 download 转载于:htt ...
图片下载器爬虫 ItemLoader
思路 http://www.meizitu.com/a/more_1.html 图片下载器爬虫 1.使用到的技术:scrapy ,requests(下载图片),ItemLoader 2.项目的创建:s ...

并发图片下载器模拟实现(小开心)

首先爬取百度页面信息

爬取一个页面的信息

进程线程协程简单总结

并发图片下载器模拟实现(小开心)相关推荐

最新文章

热门文章