python爬取妹纸图片

初学python，刚好看到爬取妹纸图片的教学视频，于是跟着学习学习python网络爬虫，使用python爬取图片。

进入主页，可以看到妹子自拍，一共446页之多 0.0 ，如下图所示：

查看网页url可以发现comment-page-xxx，其中xxx就是页码，表示当前是第几页。

按下F12查看源网页，鼠标移动到 <img class="lazy"字样上，图片会显示成阴影样式。

不难看出之后跟着的src=后的url和data-original=后的url就是我们要爬取的图片了。复制url用网页打开，果然就是图片链接，如图：

而python中可以利用lxml中的etree进行html解析，快速定位到图片url，将爬取的图片根据页码和张数命名保存只本地即可。

目的明确后就是写代码了，但是直接使用python中的requests访问网页是无法访问的，因为一些网站都会做一些反爬机制。以妹子图网站来说，请求网页至少需要携带两个参数，一个是用户代理User-Agent（一些网站常常通过判断 User-Agent 来给不同的操作系统、不同的浏览器发送不同的页面，如果请求时不加这个参数，可能无法请求。），其次是防盗链referer。必需要将这两个参数加在请求头中才能正常的请求到数据。而要获取这两个参数值，则需要在Network中的 Headers中查看，如图：

更换不同页面，发现referer的值与网页url的值是一致的，而user-agent是不变的。

测试环境：Win10 JetBrains PyCharm 2019.2.2 x64（需要提前使用pip/pip3命令安装好lxml和requests包）

参考代码如下所示：

import requests
from lxml import etreefor i in range(446):url = "https://www.mzitu.com/zipai/comment-page-{}/".format(i);print(url)heads = {"user-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}heads.update(referer=url)response = requests.get(url + "#comments", headers = heads)html = etree.HTML(response.text)
#   alt_list = html.xpath('//img[@class="lazy"]/@alt')src_list = html.xpath('//img[@class="lazy"]/@data-original')j = 0for src in src_list:j = j + 1content = requests.get(src, headers=heads).contentfilename = "photos\\{}_{}.jpg".format(i,j)print("正在保存图片文件:{}".format(filename))with open(filename, "wb") as f:f.write(content)

图片爬取结果：

教程仅供学习交流，若有侵权请联系删除~

python爬取妹纸图片相关推荐

python爬取贴吧图片_Python爬取贴吧多页图片
Python爬取贴吧图片都只能爬取第一页的,加了循环也不行,现在可以了. #coding:utf-8 import urllib import urllib2 import re import os ...
Python爬取自然风景图片代码
Python爬取自然风景图片代码 \qquad 需要用到python的etree库和requests库,需要提前下载安装. from lxml import etree import requests ...
python爬取网站的图片
python爬取网站的图片本次爬取图片所需要用到的库:Requests库,BeautifulSoup库,正则表达式,os库. 思路:先爬一张图片,再爬一个网站的图片先爬一张图片: 首先要得到这张图 ...
python爬取网站源代码+图片
python爬取网站源代码+图片需求分析基础知识正则表达式 python网络请求文件读写实现基本思路具体实现结果总结需求分析大部分有志青年都想建立属于自己的个人网站,从零开始设计 ...
python 爬取5566图库图片
python 爬取5566图库图片 1 import requests 2 import random 3 import re 4 import time 5 import os 6 from bs4 ...
python爬取动态网页图片
爬取某知名网站图片(爬取动态网页) python爬取动态网页图片 python爬取动态网页图片环境: python3.pycharm 库: requests.urllib.json 思路: 1.分析 ...
python爬取明星百度图片并存入本地文件夹
python爬取明星百度图片并存入本地文件夹想要一个明星图片的时候,发现图片量过大,一张张保存太累,不太现实这时候就可以用到爬虫,批量爬取图片现在又出现一个问题,当发现一个明星爬完后,再爬取下一 ...
Python爬取百度壁纸图片
Python爬取百度壁纸图片 #! /usr/bin/python -- coding: utf-8 -- @Author : declan @Time : 2020/05/31 16:29 @Fil ...
Python爬取小姐姐图片
使用Python爬取小姐姐图片首先上网站链接唯美女生爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 E.g xiaojiejie web 2.下载并安装python环境 pytho ...

python爬取妹纸图片

python爬取妹纸图片相关推荐

最新文章

热门文章