xpath解析概念

最常用且最便捷高效、最通用的一种解析方式。

原理

1、实例化一个etree的对象，且将需要被解析的页面源码数据加载到该对象中

2、调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容的捕获

环境的安装

pip install lxml

如何实例化一个etree对象

导入：from lxml import etree;

1、将本地的html文档中源码加载到etree对象中：
- etree.parse(filepath)

2、将从互联网上获取的页面源码数据加载到该对象中
- etree.HTML('page_text')

3、调用xpath方法：xpath('xpath表达式')：假设tree = etree.HTML('page_text')

1) 层级选择器：tree.xpath('/html/body/div')。
其中第一个'/'表示从根节点开始选择；
'html'和'body'中间的‘/’表示一个层级。
若写成tree.xpath('/html//div')，‘//’表示多个层级。
若写成tree.xpath('//div')，‘//’表示从源码的任意位置开始定位，找到所有div标签。
返回数据为列表，列表的元素为Element类型对象。2）属性定位：tree.xpath('tag[@attrName="attrValue"]')，
如tree.xpath('//div[@class="song"]')。3）索引定位：索引从1开始。
tree.xpath('tag[@attrName="attrValue"][索引值]')4) 若xpath表达式有多个，可以用竖线‘|’进行或运算。
例如：tree.xpath('/html/body/div/ul/li[2]/a | /html/body/div/li/a')5）取定位到的标签内文本：① tree.xpath('tag/text()')：取得该标签中的文本，不可获得子标签的文本，返回对象为列表。② tree.xpath('tag//text()')：取得该标签中的所有文本，包括子标签的文本，返回对象为列表。6）取定位到的标签的属性值：tree.xpath('tag/@attrName')

实战练习

需求：爬取58二手房中的房源信息

# 导包
import requests
from lxml import etree
url='https://nj.58.com/ershoufang/'
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.50'
}
page_text=requests.get(url,headers=headers).text
tree = etree.HTML(page_text)
div_list = tree.xpath('//div[@class="property-content-title"]')
fp = open('wuba.text','w',encoding='utf-8')
for div in div_list:title = div.xpath('.//h3/text()')[0] #'.'表示从当前div标签开始。因为是列表对象，要取字符串需要用位置索引方式取出对应字符串fp.write(title+'\n')
print('OVER!!!')

OVER!!!

需求：解析下载图片数据，网站：http://pic.netbian.com/4kdongwu/

import requests
from lxml import etree
import osif not os.path.exists('4ktupian'):os.mkdir('4ktupian')headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.50'}
for i in range(2,5):url='http://pic.netbian.com/4kdongwu/index_{}.html'.format(str(i))response = requests.get(url,headers=headers)response.encoding=response.apparent_encodingpage_text = response.texttree = etree.HTML(page_text)li_list = tree.xpath('//div[@class="slist"]/ul/li')for li in li_list:src = li.xpath('./a/img/@src')[0]img_name=li.xpath('./a/img/@alt')[0]+'.jpg'
#         img_naem = img_name.encode('iso-8859-1').decode('gbk') # 处理重文乱码的通用解决方啊url = 'http://pic.netbian.com/'+ srcimg_content = requests.get(url,headers=headers).contentfilepath = '4ktupian/'+img_namewith open(filepath,'wb') as f:f.write(img_content)print (img_name + 'DONE!!!')

非洲草原大象4k壁纸.jpgDONE!!!
火烈鸟4k壁纸.jpgDONE!!!
绿色的小青蛙 池塘 6k图片.jpgDONE!!!
野鹅 湖 乡村 6k图片.jpgDONE!!!
鸟 Widi群岛 哈马黑拉岛 印尼 鸟儿4k图片.jpgDONE!!!
白色的狗4k图片.jpgDONE!!!
草地上的两只可爱小狗5k动物图片.jpgDONE!!!
草地上的白色骏马4k高清图片.jpgDONE!!!
白天鹅4k高清图片.jpgDONE!!!
棕色和白色的牛 牧场4k高清图片.jpgDONE!!!
蜜蜂 鲜花 绿色植物 4k高清图片.jpgDONE!!!
马 麦克风 唱歌 创意动物4k壁纸.jpgDONE!!!
两匹黑白骏马4k图片.jpgDONE!!!
沙场上奔跑的五匹骏马高清图片.jpgDONE!!!
黑白相间小猫4K壁纸.jpgDONE!!!
狗 5120 2880 MAC 5k壁纸下载.jpgDONE!!!
松鼠 森林 啮齿类动物 树 公园 漫步 特写 跳转 松鼠4K壁纸.jpgDONE!!!
草地上可爱白兔图片.jpgDONE!!!
一对黑白色小猫可爱图片.jpgDONE!!!
白天躺在地上的狗5k图片.jpgDONE!!!
拉伸白猫6k图片.jpgDONE!!!
金�~4k壁纸.jpgDONE!!!
红色金�~3440x1440带鱼屏壁纸.jpgDONE!!!
躲在沙发里的猫4k壁纸.jpgDONE!!!
日落 沙滩 螃蟹 瓶子 海洋 创意4k壁纸.jpgDONE!!!
鹿3440x1440壁纸.jpgDONE!!!
可爱小绵羊图片.jpgDONE!!!
两只可爱绵羊3440x1440壁纸.jpgDONE!!!
罗宾鸟图片素材.jpgDONE!!!
罗宾鸟3440x1440壁纸.jpgDONE!!!
锦鲤鱼4k壁纸.jpgDONE!!!
锦鲤鱼3440x1440壁纸.jpgDONE!!!
到处流浪 乌龟 房子 小鸟 4k壁纸.jpgDONE!!!
天空中翱翔的老鹰4k壁纸.jpgDONE!!!
普通翠鸟4k壁纸.jpgDONE!!!
鸳鸯3440x1440壁纸.jpgDONE!!!
红耳鹎4k壁纸.jpgDONE!!!
一只马 By nateberrett 4k壁纸.jpgDONE!!!
领角�^猫头鹰4k壁纸.jpgDONE!!!
阿拉斯加冰山的鹰4k壁纸.jpgDONE!!!
美丽的蝴蝶3440x1440壁纸.jpgDONE!!!

数据解析之xpath解析相关推荐

数据解析学习笔记(正则解析、bs4解析、xpath解析)
聚焦爬虫:爬取页面中指定的页面内容. - 编码流程: - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储数据解析分类: 正则 bs4 xpath(***) 数据解析原理概述 ...
3.3 数据解析之xpath解析
数据解析–xpath解析最常用最便捷高效的一种解析方式 1. 模块安装 pip install lxml from lxml import etree 2. 解析原理实例化一个 etree 对象, ...
python爬虫正则解析及xpath解析，lxml解析库
正则解析模块re re模块使用流程方法一 r_list=re.findall('正则表达式',html,re.S) 方法二 # 1.创建正则编译对象 pattern = re.compile('正则 ...
【Python爬虫】数据解析之bs4解析和xpath解析
xpath解析库的语法及使用
文章目录 1.xpath解析库 2.xpath语法 3.案例: 豆瓣电影的相关信息 1.xpath解析库 # Xpath解析库介绍:数据解析的过程中使用过正则表达式, 但正则表达式想要进准匹配难度较高 ...
python爬虫xpath提取数据_python爬虫三大解析库之XPath解析库通俗易懂详讲
@(这里写自定义目录标题) 使用XPath解析库 1.简介 ??XPath(全称XML Path Languang),即XML路径语言,是一种在XML文档中查找信息的语言.适用于XML和HTML文档的 ...
xpath解析爬虫爬取豆瓣图书Top250的数据
这是在学习阶段写的爬虫,爬取的是豆瓣图书Top250榜的名称,作者,评分等数据第一次写文章,如果有什么问题,欢迎各位大佬进行指正,谢谢来踩. 1.首先需要明确自己想要爬取的内容,并在网页中查看数据是 ...
python爬虫实战之旅（第三章：数据解析（xpath法））
上接:第三章:数据解析(bs4法) 下接:第四章:验证码识别 1.xpath解析简介最常用且最便捷高效的一种解析方式.通用性很好 xpath解析原理实例化一个etree的对象,且需要将被解析的页面 ...
python爬虫数据解析xpath解析详细讲解——附有详细案例
案例③由于时间流逝,网页爬取失效了最近考研复试,增加一个案例,爬取985211学校,并以excel表格形式存储文章目录 1.什么是xpath 是最常用的最广泛的数据解析方式 2.xpath解析原理 ...

数据解析之xpath解析

目录

xpath解析概念

原理

环境的安装

如何实例化一个etree对象

实战练习

数据解析之xpath解析相关推荐

最新文章

热门文章