从零开始学习Python在e站上下载蕾姆的本子

郑重说明：
1. 本文仅仅只是Python技术应用的实践和探讨，本人绝不提供和传递任何违背国家相关法律的视频、音频及图像资料。
2. 本人也是刚刚开始接触Python，所以存在很多可以改进的地方，例如并没有采取多线程，没有做内存优化什么的，我会在之后的学习中会慢慢完善。
3. 有动力才能好好学习/滑稽

正文开始

首先看一下最终效果 /捂脸/捂脸（广大蕾姆党不要来打我）

准备材料：电脑（科学上网）

Python环境搭建

先给大家介绍一下需要下载的工具：
Python 2.7：纵观市面上Python2版本的视频资料教程还是比Python3多的，所以作为初学者，我还是使用Python2啦
Python IDE：Pycharm5（其他IDE类似sublime，eclipse当然也可以啦）
第三方插件：pip,requests, BeautifulSoup4.

python安装和环境变量设置：
http://www.runoob.com/python/python-install.html
pip安装和使用pip安装其他插件:
http://blog.csdn.net/olanlanxiari/article/details/48086917

过程解释

打开e站，查看源代码，我们可以看见

<a href="https://e-hentai.org/lofi/g/1004996/aa63985f71/">
<img src="https://ehgt.org/t/fc/6c/fc6c98c73c1f6d096967196e9bbb9e0435a1f0b1-485435-1000-1421-jpg_l.jpg" alt="Cover Image">
</a>

https://e-hentai.org/lofi/g/1004996/aa63985f71/ 是漫画的地址
https://ehgt.org/t/fc/6c/fc6c98c73c1f6d096967196e9bbb9e0435a1f0b1-485435-1000-1421-jpg_l.jpg这个是经过压缩之后的图片地址（一脸嫌弃）
因此我们进入漫画的地址

进入漫画地址后，再去查看源代码时，左图第一张图片对应的是右侧的代码

<a href="https://e-hentai.org/lofi/s/fc6c98c73c/1004996-1" rel="nofollow">
<img src="https://ehgt.org/t/fc/6c/fc6c98c73c1f6d096967196e9bbb9e0435a1f0b1-485435-1000-1421-jpg_l.jpg">
</a>

https://ehgt.org/t/fc/6c/fc6c98c73c1f6d096967196e9bbb9e0435a1f0b1-485435-1000-1421-jpg_l.jpg是缩略图的jpg（继续一脸嫌弃）

为了取得最好的观看效果，我们取前面的具有特征值rel=”nofollow”的地址，点击进去之后可以看见

我们在右侧发现了高清无码图片的存储地址

<img id="sm" src="http://125.143.18.117:56133/h/fbdb1dfcf1acde845490021f07e89a15e2625e46-124648-780-1108-jpg/keystamp=1486713900-0ab46e6f81;fileindex=49878524;xres=780/_1_ver2_copy.jpg" alt="_1_ver2_copy.jpg"
title="_1_ver2_copy.jpg" referrerpolicy="no-referrer" onerror="this.onerror=null; document.location=document.location+'?nl=1-412975'" onload="document.cookie = 'reload=; path=/; expires=Thu, 01 Jan 1970 00:00:01 GMT;'">

id=”sm” src=”http://125.143.18.117:56133/h/fbdb1dfcf1acde845490021f07e89a15e2625e46-124648-780-1108-jpg/keystamp=1486713900-0ab46e6f81;fileindex=49878524;xres=780/_1_ver2_copy.jpg”
特征id = “sm”, 后面附带图片地址，这个就是我们想要的！

所以，总结一下过程，目的是找蕾姆（误）non-H的本子，所以我们要在总目录页找到每一个漫画的地址（url）,然后在每个漫画中遍历查找每一张高清无码图片的地址（url）,之后通过爬虫技术把一张张图片拷贝进自己硬盘里。

# -*- coding: UTF-8 -*-
import os
import urllib
import urllib2
import requests as req
from bs4 import BeautifulSoup
import redef next_page(page_link):"""检测有无next page:param page_link: url:return: nextpage exist => 1nextpage exist => 0"""content= get_content(page_link)if (content.find('Next Page'))!=-1:return 1else:return 0def get_content(url):"""得到content信息:param url::return: content"""req = urllib2.Request(url)req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36")req.add_header("Host","e-hentai.org")req.add_header("Referer","https://e-hentai.org/lofi")html = urllib.urlopen(url)content=html.read()html.close()return contentdef get_images(page_link,temp):"""导入每一张漫画的url:param page_link: url:param temp: 地temp篇漫画:return:"""if next_page(page_link)!=0:info = get_content(page_link)soup = BeautifulSoup(info)all_img = soup.find_all(rel="nofollow")#for img in all_img:#    print img['href']i=1new_url = page_link +'%d'%iwhile (next_page(new_url))!=0:info = get_content(new_url)soup = BeautifulSoup(info)all_img_new = soup.find_all(rel="nofollow")all_img = all_img + all_img_newi+=1new_url = page_link +'%d'%iprint new_urlelse:new_url=page_linkinfo = get_content(new_url)soup = BeautifulSoup(info)all_img_new = soup.find_all(rel="nofollow")all_img = all_img + all_img_newtitle = '蕾姆%s'%tempx=0os.mkdir(r'E:\python\program\shenshi0210\%s'%title)for img_url in all_img:print img_url['href']print xdownload(img_url['href'],x,title)x=x+1returndef download(img_url,x,title):"""下载漫画:param img_url: url:param x: 张数:param title: 存入磁盘的位置:return: """info = get_content(img_url)soup = BeautifulSoup(info)img_real = soup.find_all('img', id="sm")print img_real[0]['src']img_name=xpath= os.path.join('E:\\python\\program\\shenshi0210\\%s'%title,'%s.jpg'%x)urllib.urlretrieve(img_real[0]['src'],path)def mulu_url(page_link):"""导入总目录页面所有漫画的url"""info_mulu = get_content(page_link)soup_mulu = BeautifulSoup(info_mulu)mulu_url = soup_mulu.find_all("a",{"class":"b"})temp=0for x in range(1,len(mulu_url)-1):print mulu_url[temp]['href']temp+=1get_images(mulu_url[temp]['href'],temp)return mulu_url[temp]['href']origin_page_link= 'https://e-hentai.org/lofi/?f_search=ram&f_apply=Search'
mulu_url(origin_page_link)

后记

Python真是博大精深！

最开始是准备用Python做数据分析的，然后不知不觉就入了爬虫的坑，当然这个程序也有太多太多不足，比如没有做多线程，速度实在太慢，变量的使用太过于随心所欲了，还有内存没有优化，跑起来速度真心有点慢。

大佬们请尽管做出批评的意见和建议，小弟在接下来的几个月会开始系统的正式学习Python，同为新萌的小伙伴们有空来我博客里玩耍吧！

接下来每两周会更新一次学习进展，大家一起加油！