book118抓取器（玩具，上大学为了看盗版书写的）

from urllib import request
from urllib import parse
import urllib
import ssl
import time
import jsondef getImgUrlAll(furl,sn,img,f,page_count):furl=furlsn=snimg=imgf=fpage_count=page_countimg_urls_id=[] #文档中每页的地址img_urls_id.append(img)for indexs in range(sn,page_count):json_url='https://view45.book118.com/PW/GetPage?f='+f+'&img='+img+'&isMobile=false&readLimit=z1SQwiTQU00uxfwJSFd6tA==&sn='+str(sn)+'&furl='+furl #请求获得文档地址的链接地址 context=ssl._create_unverified_context()try:url_response=urllib.request.urlopen(json_url,context=context)json_data=url_response.read()json_data=json.loads(json_data)img=json_data['NextPage']sn=json_data['PageIndex']img_urls_id.append(img)print(img)except urllib.error.URLError as e:time.sleep(3)time.sleep(1)return img_urls_iddef getImgDataAll():furl='o4j9ZG7fK96K7ALNwHnKKQSGvsVp16t3L2qjAOMgLa7n77uw8z83EFMbpBw2zYSx09g6XtSo@8BpOr1EwlmC_DlLwZMV02GJrbR6YIC2ONs=' #链接中furl参数sn=1 #页数img='7o@o7xcocmlPBL0TDQvqcoJQN63rYSd1BUB666vWi@NL6G1PT5EDQQQ5csXhkwLPfXWZWBX5yy8='    #起始页f='dXAxNS5ib29rMTE4LmNvbS44MFw0MDk1NTYwLTVhYWU2NTA2MGFhNWIucGRm' #参数fpage_count=299 #文档总页数 img_urls_id=getImgUrlAll(furl,sn,img,f,page_count)image_type='.png'for url_id in img_urls_id:file_url='https://view45.book118.com/img?img='+url_id+'&tp='context=ssl._create_unverified_context()try:pic_response=urllib.request.urlopen(file_url,context=context)pic_data=pic_response.read()local_file_name=url_id+image_typefo=open(local_file_name,'wb')fo.write(pic_data)fo.close()print("finish the pic:"+url_id)except urllib.error.URLError as e:time.sleep(3)time.sleep(1)print("have done")getImgDataAll()

book118抓取器（玩具，上大学为了看盗版书写的）相关推荐

用Python构建网页抓取器
借助使用Python构建的尖端网页抓取技术,启动您的大数据项目 Scrape the Planet! Building Web Scrapers with Python 你会学到什么如何理论化和开发 ...
百度SEO网站链接抓取器 v1.0
简介: 网站链接抓取器可以帮助用户对网站上面的各个内容进行抓取,操作很简单,用户只需要输入网址域名就能够获取相应的源代码,从而获取网站上面的图片.脚本等等,适用于需要淘宝抓图或者仿站的用户,支持批量抓 ...
基于视觉的机器人抓取：从物体定位、物体姿态估计到平行抓取器抓取估计
编者荐语抓取综合方法是机器人抓取问题的核心,本文从抓取检测.视觉伺服和动态抓取等角度进行讨论,提出了多种抓取方法. 转载自丨3D视觉开发者社区目录 / contents 1. 引言 1.1 抓 ...
机器人识别抓取笔记（基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计：综述）
Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous Robotic ...
Python 抓取软科中国大学排名首页数据
文章目录利用requests.BeautifulSoup.xlwings库抓取软科中国大学排名首页数据 (1)软科中国大学排名 (2)调用requests模块中get方法,get方法包括header ...
Python之 - 使用Scrapy建立一个网站抓取器，网站爬取Scrapy爬虫教程
Scrapy是一个用于爬行网站以及在数据挖掘.信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架,广泛用于工业. 在本文中我们将建立一个从Hacker News爬取数据的爬虫,并将数据按我 ...
URL Extractor 4 for Mac(URL资源地址抓取器)特别版
URL Extractor 4 for Mac 激活版是一个URL资源地址提取工具,只需通过一个网址或是通过搜索引擎搜索一个关键字,该软件就能为我们抓取大量相关的网址链接和email信息.本站提供UR ...
【机器人识别抓取】基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计
目录导读 1 引言 1.1 抓取综合方法 1.2 基于视觉的机器人抓取系统 2 抓取检测.视觉伺服和动态抓取 2.1抓取检测 2.2 视觉伺服控制 2.3 动态抓取 3 本文实现的方法 3.1 网络 ...
python爬取大众点评评论_python爬虫抓取数据小试Python——爬虫抓取大众点评上的数据 - 电脑常识 - 服务器之家...
python爬虫抓取数据小试Python--爬虫抓取大众点评上的数据发布时间:2017-04-07

book118抓取器（玩具，上大学为了看盗版书写的）

book118抓取器（玩具，上大学为了看盗版书写的）相关推荐

最新文章

热门文章