python爬取安居客二手房网站数据
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
python免费学习资料以及群交流解答点击即可加入
在上面这个页面中,我们可以看到一条条的房源信息,从中我们发现了什么,发现了连郑州的二手房都是这么的贵,作为即将毕业的学生狗惹不起啊惹不起
还是正文吧!!!
由上可以看到网页一条条的房源信息,点击进去后就会发现:
房源的详细信息。
OK!那么我们要干嘛呢,就是把郑州这个地区的二手房房源信息都能拿到手,可以保存到数据库中,用来干嘛呢,作为一个地理人,还是有点用处的,这次就不说了
好,正式开始,首先我采用python3.6 中的requests,BeautifulSoup模块来进行爬取页面,
首先由requests模块进行请求:
# 网页的请求头
header = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}
# url链接
url = 'https://zhengzhou.anjuke.com/sale/'
response = requests.get(url, headers=header)
print(response.text)
执行后就会得到这个网站的html代码了
通过分析可以得到每个房源都在class="list-item"的 li 标签中,那么我们就可以根据BeautifulSoup包进行提取
# 通过BeautifulSoup进行解析出每个房源详细列表并进行打印
soup = BeautifulSoup(response.text, 'html.parser')
result_li = soup.find_all('li', {'class': 'list-item'})
for i in result_li:print(i)
通过打印就能进一步减少了code量,好,继续提取
# 通过BeautifulSoup进行解析出每个房源详细列表并进行打印
soup = BeautifulSoup(response.text, 'html.parser')
result_li = soup.find_all('li', {'class': 'list-item'})
# 进行循环遍历其中的房源详细列表
for i in result_li:# 由于BeautifulSoup传入的必须为字符串,所以进行转换page_url = str(i)soup = BeautifulSoup(page_url, 'html.parser')# 由于通过class解析的为一个列表,所以只需要第一个参数result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]print(result_href.attrs['href'])
这样,我们就能看到一个个的url了,是不是很喜欢
好了,按正常的逻辑就要进入页面开始分析详细页面了,但是爬取完后如何进行下一页的爬取呢
所以,我们就需要先分析该页面是否有下一页
同样的方法就可以发现下一页同样是如此的简单,那么咱们就可以还是按原来的配方原来的味道继续
# 进行下一页的爬取
result_next_page = soup.find_all('a', {'class': 'aNxt'})
if len(result_next_page) != 0:print(result_next_page[0].attrs['href'])
else:print('没有下一页了')
因为当存在下一页的时候,网页中就是一个a标签,如果没有的话,就会成为i标签了,所以这样的就行,因此,我们就能完善一下,将以上这些封装为一个函数
import requests
from bs4 import BeautifulSoup
'''
遇到不懂的问题?Python学习交流群:1136201545满足你的需求,资料都已经上传群文件,可以自行下载!
'''
# 网页的请求头
header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}def get_page(url):response = requests.get(url, headers=header)# 通过BeautifulSoup进行解析出每个房源详细列表并进行打印soup = BeautifulSoup(response.text, 'html.parser')result_li = soup.find_all('li', {'class': 'list-item'})# 进行下一页的爬取result_next_page = soup.find_all('a', {'class': 'aNxt'})if len(result_next_page) != 0:# 函数进行递归get_page(result_next_page[0].attrs['href'])else:print('没有下一页了')# 进行循环遍历其中的房源详细列表for i in result_li:# 由于BeautifulSoup传入的必须为字符串,所以进行转换page_url = str(i)soup = BeautifulSoup(page_url, 'html.parser')# 由于通过class解析的为一个列表,所以只需要第一个参数result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]# 先不做分析,等一会进行详细页面函数完成后进行调用print(result_href.attrs['href'])if __name__ == '__main__':# url链接url = 'https://zhengzhou.anjuke.com/sale/'# 页面爬取函数调用get_page(url)
好了,那么咱们就开始详细页面的爬取了
哎,怎么动不动就要断电了,大学的坑啊,先把结果附上,闲了在补充,
import requests
from bs4 import BeautifulSoup
'''
遇到不懂的问题?Python学习交流群:1136201545满足你的需求,资料都已经上传群文件,可以自行下载!
'''
# 网页的请求头
header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}def get_page(url):response = requests.get(url, headers=header)# 通过BeautifulSoup进行解析出每个房源详细列表并进行打印soup_idex = BeautifulSoup(response.text, 'html.parser')result_li = soup_idex.find_all('li', {'class': 'list-item'})# 进行循环遍历其中的房源详细列表for i in result_li:# 由于BeautifulSoup传入的必须为字符串,所以进行转换page_url = str(i)soup = BeautifulSoup(page_url, 'html.parser')# 由于通过class解析的为一个列表,所以只需要第一个参数result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]# 详细页面的函数调用get_page_detail(result_href.attrs['href'])# 进行下一页的爬取result_next_page = soup_idex.find_all('a', {'class': 'aNxt'})if len(result_next_page) != 0:# 函数进行递归get_page(result_next_page[0].attrs['href'])else:print('没有下一页了')# 进行字符串中空格,换行,tab键的替换及删除字符串两边的空格删除
def my_strip(s):return str(s).replace(" ", "").replace("\n", "").replace("\t", "").strip()
# 由于频繁进行BeautifulSoup的使用,封装一下,很鸡肋
def my_Beautifulsoup(response):return BeautifulSoup(str(response), 'html.parser')# 详细页面的爬取
def get_page_detail(url):response = requests.get(url, headers=header)if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')# 标题什么的一大堆,哈哈result_title = soup.find_all('h3', {'class': 'long-title'})[0]result_price = soup.find_all('span', {'class': 'light info-tag'})[0]result_house_1 = soup.find_all('div', {'class': 'first-col detail-col'})result_house_2 = soup.find_all('div', {'class': 'second-col detail-col'})result_house_3 = soup.find_all('div', {'class': 'third-col detail-col'})soup_1 = my_Beautifulsoup(result_house_1)soup_2 = my_Beautifulsoup(result_house_2)soup_3 = my_Beautifulsoup(result_house_3)result_house_tar_1 = soup_1.find_all('dd')result_house_tar_2 = soup_2.find_all('dd')result_house_tar_3 = soup_3.find_all('dd')'''文博公寓,省实验中学,首付只需70万,大三房,诚心卖,价可谈 270万宇泰文博公寓 金水-花园路-文博东路4号 2010年 普通住宅3室2厅2卫 140平方米 南北 中层(共32层)精装修 19285元/m² 81.00万'''print(my_strip(result_title.text), my_strip(result_price.text))print(my_strip(result_house_tar_1[0].text),my_strip(my_Beautifulsoup(result_house_tar_1[1]).find_all('p')[0].text),my_strip(result_house_tar_1[2].text), my_strip(result_house_tar_1[3].text))print(my_strip(result_house_tar_2[0].text), my_strip(result_house_tar_2[1].text),my_strip(result_house_tar_2[2].text), my_strip(result_house_tar_2[3].text))print(my_strip(result_house_tar_3[0].text), my_strip(result_house_tar_3[1].text),my_strip(result_house_tar_3[2].text))if __name__ == '__main__':# url链接url = 'https://zhengzhou.anjuke.com/sale/'# 页面爬取函数调用get_page(url)
python爬取安居客二手房网站数据相关推荐
- python爬取安居客二手房网站数据(转)
之前没课的时候写过安居客的爬虫,但那也是小打小闹,那这次呢, 还是小打小闹 哈哈,现在开始正式进行爬虫书写 首先,需要分析一下要爬取的网站的结构: 作为一名河南的学生,那就看看郑州的二手房信息吧! 在 ...
- python爬取房源数据_python爬取安居客二手房网站数据(实例讲解)
是小打小闹 哈哈,现在开始正式进行爬虫书写首先,需要分析一下要爬取的网站的结构:作为一名河南的学生,那就看看郑州的二手房信息吧! 在上面这个页面中,我们可以看到一条条的房源信息,从中我们发现了什么,发 ...
- 使用Python爬取安居客二手房房价数据
作为一个Python新手,公司突然安排我爬取房价数据,真让人有点头大啊!幸好网上的大佬们经验丰富,给予了很多代码上的帮助.本文代码在网友pythoner111爬虫项目–爬取安居客二手房信息的基础上修改 ...
- 抓取安居客二手房经纪人数据,python爬虫自动翻页
为什么80%的码农都做不了架构师?>>> 和链接不一样,安居客网站里面没有找到总页数,可能在json里面有,只是我没有找到. 基于此能不能做网页的循环爬取呢. 能否判断页面读取 ...
- 爬虫项目--爬取安居客二手房信息
爬虫实战(爬取安居客二手房信息-成都天府新区) 环境:python3.6 pycharm bs4库 解析方式:bs4 需求:爬取二手房信息字段(titile,house_type,build_time ...
- Python爬取安居客经纪人信息
Python爬取安居客经纪人信息 Python2.7.15 今天我们来爬取安居客经纪人的信息.这次我们不再使用正则,我们使用beautifulsoup.不了解的可以先看一下这个文档,便于理解.http ...
- bs4+phantomjs爬取安居客二手房信息
bs4+phantomjs爬取安居客二手房信息 这是我的第一篇博客,希望通过养成写博客的习惯来督促自己学习. 开发环境以及需要安装的模块 - Python3.6 - requests pip inst ...
- python爬取安居客网站上北京二手房数据
目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...
- 爬虫爬取安居客二手房和新房信息,你是买新房还是二手的呢?
本文主要讲解爬取安居客买房类别中的二手房和新房,将提取的信息存储在记事本中,也可以转存CSV格式或者MongoDB中. 网站HTML信息提取比较简单,没有什么特别的地方,作为爬虫入门可以让初学者快速了 ...
最新文章
- 新一届最强预训练模型上榜,出于BERT而胜于BERT
- 51单片机教程哪个好?
- js在线压缩工具 支持Base62 encode 和 Shrink variables
- awk匹配以aaa开头,以bbb结尾的内容,同时aaa和bbb之间还包含ccc
- leetcode Number of 1 Bits
- 用python倒序输出一个字符串_Python字符串逆序输出的实例讲解
- android中调用fft函数,J使用PCM数据在Android中转换FFT(JTransforms FFT in Android from PCM data)...
- Mysql 零距离-入门(六)数据唯一约束性
- 源导航V1.0-集网址、资源、资讯于一体的导航系统
- mysql要将语句反复执行15次_MySQL多表查询疑问
- 关于Eclipse的常用快捷键
- 眼底图像血管增强与分割--(1)匹配滤波算法原理及实现
- 密码管理系统竞品分析报告
- 微信小程序弹框wx.showToast、wx.showModal样式修改
- 【超级不爽】腾讯居然在我不知情未授权的情况下偷偷的转载我的博客文章
- matlab 均生函数,Matlab 的fspecial函数用法
- 本人使用的IDEA插件截图
- win7右键计算机没有注册类,win7系统提示没有注册类别如何解决
- error launching app electron踩坑
- C 语言取整的几种方法
热门文章
- excel小写转大写公式_会计工作再忙,也要学会这19个Excel公式!
- 基于Matlab的双馈风力发电机模型
- 短视频去水印工具小程序
- 计算机体系结构顶级会议ISCA,2017图灵奖得主展望黄金时代
- Windows Socket 1.1库函数参考大全
- 高可靠性领域如何选取处理器系统和ADC/DAC?
- 视频合并器(Video Combiner)绿色免费版 v1.1
- P6专题:Oracle P6 数据库管理(SQLite/单机版数据库)
- 元宇宙,是未来还是骗局?
- ubuntu20.04 desktop安装到移动硬盘