小甲鱼python视频xxoo爬虫代码改进--煎蛋网

2020/7/31 今天学习得是关于小甲鱼得python课程，根据这个课程也确确实实得学到了不少东西，所以希望大家也可以一起去学习
下面是我在小甲鱼上课改造之后得代码
这个课程是在b站上看的，号码是 av27789609

这个是第五十节左右得爬虫 ooxx

他的教学视频是很早的时候录得，现在的网站进行了base64的加密等反爬措施，所以在原有的基础上需要进行修改
下面是我的代码，希望可以给大家一些启发，同时也希望大佬们给与指点。

import urllib.request
import urllib.parse
import os
import base64
def urlopen(url):req=urllib.request.Request(url)req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362')response=urllib.request.urlopen(req)html=response.read()return html

上面的这一个urlopen简单的说是为了进入网站，然后阅读网站的代码，从而之后为了找到图片的地址等等提供帮助

def getpage(url):html=urlopen(url).decode('utf-8')a=html.find('current-comment-page')+23b=html.find(']',a)return (html[a:b])

这个是网站里面的有个页数，选择第几页的时候会用的到，写道这里的时候可以尝试先print(html[a:b])，看是否出来对应的页数在进行操作，那里的"+23"其实是’current-comment-page’的长度，这样做+23之后就直接到达了页数所在的地方。

def findimg(url):html=urlopen(url).decode('utf-8')imgaddrs=[]a=html.find('src=')b=html.find('.jpg',a,a+255)while a!= -1:b=html.find('.jpg',a,a+255)if b!= -1:imgaddrs.append('https:'+html[a+5:b+4])else:b=a+5a=html.find('src=',b)return imgaddrs

这里是找图片的函数，在网站的源码中寻找src=，这样就可以找到网站里图片的地址，但是图片里的地址没有http:，所有就需要拼接一下使得网站里read（）到的地址加上http:，从而获得一个完整的网络地址。

def xiazai(floder='ooxx',pages=10):os.mkdir(floder)os.chdir(floder)url='http://jandan.net/pic/'pagenum=int(getpage(url))s = '20200730-'d='%d'%pagenumc=s+db =base64.b64encode(c.encode('utf-8')).decode("utf-8")for i in range(pages):pagenum -= ipageurl=url+b+'#comments'imgaddrs=findimg(pageurl)imgaddrs=imgaddrssaveimg(floder,imgaddrs)if __name__ == '__main__':xiazai()

这个就是从网上下载的具体方法，这里注意的是原来的网站里面的代码经过了base64加密，就是这里面的s代表着每天的日期
这个其实放在最后好一些点。

def saveimg(folder,imgaddrs):for each in imgaddrs:filename=each.split('/')[-1]with open(filename,'wb') as f:img =urlopen(each)f.write(img)

这个是网站得到的图片进行保存，保存到指定的文件夹里面

这就是改完之后的了，亲测可以运行，希望大佬们给点指点

小甲鱼python视频xxoo爬虫代码改进--煎蛋网相关推荐

Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬图代码实例_Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
Python爬虫入门，煎蛋网XXOO图片抓取！
今天写一个爬虫爱好者特别喜欢的网站煎蛋网 http://jandan.net/ooxx ,这个网站其实还是有点意思的,网站很多人写了N多的教程了,各种方式的都有,当然网站本身在爬虫爱好者的不断进攻下, ...
python 爬虫爬取煎蛋网妹子图，我1T的硬盘装满了！
前言大家好,这里是「brucepk」爬虫系列教程.此系列教程以实例项目为材料进行分析,从项目中学习 python 爬虫,跟着我一起学习,每天进步一点点. 煎蛋网站 image 很多朋友都反应学 p ...
python小课文件_[Python]小甲鱼Python视频第030课(文件系统：介绍一个高大上的东西)课后题及参考解答...
# -*- coding: utf-8 -*- """ Created on Fri Mar 8 15:49:32 2019 @author: Administrator ...
小甲鱼python视频bilibili_在B站上学编程，这几个视频你知道了么？
原标题:在B站上学编程,这几个视频你知道了么? 来自:程序员书库(ID:OpenSourceTop) 视频来源:B站说到B站,你第一反应是什么?追新番,发弹幕,还是看鬼畜视频?实际上,现在B站已经是 ...
小甲鱼python猜题_[Python]小甲鱼Python视频第033课(except)课后题及参考解答
# -*- coding: utf-8 -*- """ Spyder Editor This is a temporary script file. "&quo ...
小甲鱼python视频第八讲（课后习题）
1.for循环的使用,注意下面代码的区别 for i in range(0,10,2):print("i love you") for i in range(0,10):print ...

小甲鱼python视频xxoo爬虫代码改进--煎蛋网

小甲鱼python视频xxoo爬虫代码改进--煎蛋网相关推荐

最新文章

热门文章