python 爬虫获取动漫截图

引言

之前有些无聊（呆在家里实在玩的腻了），然后就去B站看了一些python爬虫视频，没有进行基础的理论学习，也就是直接开始实战，感觉跟背公式一样的进行爬虫，也算行吧，至少还能爬一些东西，hhh。我今天来分享一个我的爬虫代码。

正文

话不多说，直接上完整代码

ps：这个代码有些问题每次我爬到fate的图片它就给我报错，我只好用个try来跳过了，如果有哪位大佬能帮我找出错误并给与纠正，我将不胜感激

import requests as r
import re
import os
import time
file_name = "动漫截图"
if not os.path.exists(file_name):os.mkdir(file_name)for p in range(1,34):print("--------------------正在爬取第{}页内容------------------".format(p))url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36"}resp = r.get(url, headers=headers)  html = resp.textimages = re.findall('data-original="(.*?)" ', html)names =re.findall('title="(.*?)"', html)#print(images)#print(names)dic = dict(zip(images, names))for image in images:time.sleep(1)print(image, dic[image])name = dic[image]#name = image.split('/')[-1]i = r.get(image, headers=headers).contenttry:with open(file_name + '/' + name  + '.jpg' , 'wb') as f:f.write(i)except FileNotFoundError:continue

先导入要使用的库

import requests as r
import re
import os
import time

然后去分析要去爬的网址：动漫截图网

下图是网址的内容：

好了 url已经确定

下面去寻找headers

找到user-agent 将其内容复制到headers中

第一步就完成了

下面是代码展示

url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36"}

然后检索要爬的图片内容

从上图就可以找到图片的位置：data-origina=后面的内容
以及图片的名字：title=后面的内容

然后用正则表达式re来检索就行了

images = re.findall('data-original="(.*?)" ', html)
names =re.findall('title="(.*?)"', html)

最后将其保存就好了

i = r.get(image, headers=headers).content
with open(file_name + '/' + name  + '.jpg' , 'wb') as f:f.write(i)

还有就是一些细节了
比如换页
第一页网址：
https://www.acgimage.com/shot/recommend
第二页网址：https://www.acgimage.com/shot/recommend?page=2

然后将page后面的数字改动就可以跳到相应的页面
换页的问题也就解决了

or p in range(1,34):url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)

以及将爬到的图片放到自己建立的文件zh
使用了os库

 file_name = "动漫截图"if not os.path.exists(file_name):os.mkdir(file_name)

以及为了不影响爬取的网站使用了sleep函数
虽然爬取的速度慢了一些
但是这是应遵守的道德

time.sleep(1)

以上这就是我的爬虫过程
还是希望大佬能解决我的错误之处
万分感谢

python 爬虫获取动漫截图相关推荐

python网页爬虫漫画案例_python爬虫实例之获取动漫截图
引言之前有些无聊(呆在家里实在玩的腻了),然后就去B站看了一些python爬虫视频,没有进行基础的理论学习,也就是直接开始实战,感觉跟背公式一样的进行爬虫,也算行吧,至少还能爬一些东西,hhh.我今 ...
Python爬虫获取文章的标题及你的博客的阅读量，评论量。所有数据写入本地记事本。最后输出你的总阅读量！
Python爬虫获取文章的标题及你的博客的阅读量,评论量.所有数据写入本地记事本.最后输出你的总阅读量!还可以进行筛选输出!比如阅读量大于1000,之类的! 完整代码在最后.依据阅读数量进行降序输出! ...
突破次元壁障，Python爬虫获取二次元女友
突破次元壁障,Python爬虫获取二次元女友前言程序说明二次元女友获取程序观察网页结构页面解析创建图片保存路径图片下载格式转换爬取结果展示完整程序前言 (又到了常见的无中生友环节 ...
Python爬虫 | Python爬虫获取女友图片
Python爬虫 | Python爬虫获取女友图片前言程序说明二次元女友获取程序观察网页结构页面解析创建图片保存路径图片下载格式转换爬取结果展示完整程序前言 (又到了常见的无中生 ...
python爬虫获取天猫店经营者资质证书（更新到2020.06.13
python爬虫获取天猫店经营者资质证书(更新到2020.06.13 爬取需求 excel表中给定多个天猫的店铺链接,获取店铺的经营者资质证书,保存为本地图片代码基于之前写的一个博客https:// ...
Python爬虫获取网页编码格式
Python爬虫获取网页编码格式网页编码格式是每个网页规定的本页面文字的编码方式,其中比较流行的是ascii, gbk, utf-8, iso等.观察许多网页的编码格式都是在meta标签的conte ...
python Chrome + selenium自动化测试与python爬虫获取网页数据
一.使用Python+selenium+Chrome 报错: selenium.common.exceptions.SessionNotCreatedException: Message: sessi ...
域名带后缀_[Python 爬虫]获取顶级域名及对应的 WHOIS Server 及 whoisservers.txt 下载...
使用 Python 爬虫获取顶级域名及对应的 WHOIS Server 并保存可用于 WhoisCL.exe 的文件 whois-servers.txt. 环境: Windows 10 Python ...
python爬虫获取url_Python爬虫如何获取页面内所有URL链接？本文详解
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL. 什么是Beautiful Soup ...

python 爬虫获取动漫截图

引言

正文

python 爬虫获取动漫截图相关推荐

最新文章

热门文章

python 爬虫 获取动漫截图

引言

正文

python 爬虫 获取动漫截图相关推荐

最新文章

热门文章

python 爬虫获取动漫截图

python 爬虫获取动漫截图相关推荐