python3 爬取淘女郎照片

博主初学python，想写个爬虫练练手。在实验楼找了个项目爬淘女郎照片，不过原文代码有些问题我做了些修改

原文链接https://www.shiyanlou.com/courses/595

一、前期工作

环境：ubuntu16.04（win10应该也行，不过程序会有改动），python3，火狐浏览器（或chrome），网络畅通，vim编辑器（其他编辑器也行）

要掌握的基本知识：python3基础（语法，正则表达式，一些爬虫库的使用），http协议基础，看的懂html代码

二、爬虫工具

pip3安装：

sudo apt-get install python3-pip

BeautifulSoup安装：

sudo pip3 install Beautifulsoup4

selenium安装：

sudo pip3 install selenium

安装时可能会出现更新pip提示，不用管

三、实战

用selenium模拟操作火狐浏览器，BeautifulSoup解析网页，正则表达式过滤信息，urlopen读取图片到本地。

from urllib.request import urlopen
import threading
import re
from bs4 import BeautifulSoup
from selenium import webdriver
import os
#主函数
def main():driver = webdriver.Firefox() driver.get("https://mm.taobao.com/search_tstar_model.htm?")bsObj = BeautifulSoup(driver.page_source,"lxml")fp = open('mm.txt','w+')fp.write(driver.find_element_by_id("J_GirlsList").text)MMsinfoUrl = bsObj.findAll("a",{"href":re.compile("\/\/.*\.htm\?(userId=)\d*")})imagesUrl = bsObj.findAll("img",{"src":re.compile("gtd.*\.jpg")})fp.close()fp = open('mm.txt','r+')items = fp.readlines()content1 = []n = 0m = 1while(i<5):print("MM's name:"+contents[i][0][0]+"with"+contents[i][0][1])print("saving......"+contents[i][0][0]+"in the folder")perMMpageUrl = "https:"+contents[i][1]path = '/home/lgz/pythontest/mmphoto/'+contents[i][0][0]mkdir(path)getperMMpageImg(perMMpageUrl,path)i += 1fp.flush()fp.close()number = 1for imageUrl in imagesUrl:url = "https:"+str(imageUrl["src"])html = urlopen(url)data = html.read()fileName = '/home/lgz/pythontest/mmphoto/mm'+str(number)+'.jpeg'fph = open(fileName,"wb")print("loading MM......"+fileName)fph.write(data)fph.flush()fph.close()number += 1driver.close()def mkdir(path):isExists = os.path.exists(path)if not isExists:print("to create a new folder named"+path)os.makedirs(path)else:print("create complete!")def getperMMpageImg(MMURL,MMpath):owndriver = webdriver.Firefox()owndriver.get(MMURL)ownObj = BeautifulSoup(owndriver.page_source,"lxml")perMMimgs = ownObj.findAll("img",{"src":re.compile("\/\/img\.alicdn.*\.jpg")})number = 2for perMMimg in perMMimgs:ImgPath = "https:"+str(perMMimg["src"])print(ImgPath)try:html = urlopen(ImgPath)data = html.read()fileName = MMpath+"/"+str(number)+'.jpg'fp = open(fileName,'wb')print("loading her photo as"+fileName)fp.write(data)fp.flush()fp.close()number += 1except Exception:print("Address Error!!!!!!!!!!!!!!!!!!!!")if __name__ == '__main__':main()

博主亲测，爬了前四个人第五个爬不动了不知道为啥，效果如图：

python3 爬取淘女郎照片相关推荐

Python爬虫之爬取淘女郎照片示例详解
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...
Python爬虫入门-利用scrapy爬取淘女郎照片
最近看到有个相对来说比较简单的可以爬取淘女郎的链接地址,它主要可以通过改变URL中page参数来实现翻页. 我们这个这个链接进入到一个淘女郎的页面,进入相册页面,里面有很多相册,我们打开其中一个,可以 ...
python3爬取淘女郎图片
selenium+chrome 爬取淘女郎页面分析https://www.taobao.com/markets/mm/mmku 这个页面,右键查看网页源代码搜索 img 竟然找不到图片标签,可以猜测 ...
【python--爬虫】爬取淘女郎照片
通过网络请求分析发现是json传递的信息接口就是"https://v.taobao.com/micromission/req/selectCreatorV3.do" 这个接口的翻 ...
Python爬虫实战：爬取淘女郎照片
本篇目标抓取淘宝MM的姓名,头像,年龄抓取每一个MM的资料简介以及写真图片把每一个MM的写真图片按照文件夹保存到本地熟悉文件保存的过程 PS:如有需要Python学习资料的小伙伴可以加下方的群 ...
python爬虫爬取淘女郎介绍以及照片
从https://mm.taobao.com/json/request_top_list.htm?page=1上爬取淘女郎的介绍和个人主页的照片 Spider.py # __author__ = 'y ...
Python2 Python3 爬取赶集网租房信息,带源码分析
*之前偶然看了某个腾讯公开课的视频,写的爬取赶集网的租房信息,这几天突然想起来,于是自己分析了一下赶集网的信息,然后自己写了一遍,写完又用用Python3重写了一遍.之中也遇见了少许的坑.记一下.算是 ...
python3爬取百度图片
python3爬取百度图片最终目的:能通过输入关键字进行搜索,爬取相应的图片存储到本地或者数据库首先打开百度图片的网站,搜索任意一个关键字,比如说:水果,得到如下的界面分析: 1.百度图片搜索结 ...
Python3爬取影片入库
Python3爬取影片入库 1.服务器说明 [root@openshift maoyan]# cat /etc/redhat-release CentOS Linux release 7.4.1708 ...

python3 爬取淘女郎照片

python3 爬取淘女郎照片相关推荐

最新文章

热门文章