贝壳找房二手房信息爬虫

爬取贝壳找房二手房信息代码：
把前滩替换为任意想要查询的区域即可查询；
数据保存至当前文件夹csv文件中。

// An highlighted block
import requests
from lxml import etree
import time
import pandas as pdhouse_pos = "前滩"
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36\(KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"
}
house_info_list = []
for page in range(1, 10):print("--------------正在爬取第{}页--------------".format(page))url = r"https://sh.ke.com/ershoufang/pg{}rs{}/".format(page, house_pos)page_text = requests.get(url=url, headers=headers).text# 数据解析tree = etree.HTML(page_text)li_list = tree.xpath('//ul[@class="sellListContent"]//li[@class="clear"]')for li in li_list:house_info = {}house_info['position'] = li.xpath('./div/div[@class="address"]/div[1]/div/a/text()')[0]house_info['total_price'] = li.xpath('./div/div[@class="address"]/div[@class="priceInfo"]/div[1]/span/text()')[0]house_info['unit_price'] = li.xpath('./div/div[@class="address"]/div[@class="priceInfo"]/div[2]/span/text()')[0]house_info['title'] = li.xpath('./div/div[@class="title"]/a/@title')[0]house_info_list.append(house_info)time.sleep(0.1)df = pd.DataFrame(house_info_list)
df.to_csv("1.csv")
print("--------------抓取结束--------------")

贝壳找房二手房信息爬虫相关推荐

Python爬虫 | 爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！
文章目录 1.概述 2.数据采集 3.数据清洗 3.1.读取数据 3.2.去掉车位(地下室)数据 3.3.房源信息解析 4.数据处理及可视化 4.1.各地区二手房源数 4.2.各地区二手房均价 4.3 ...
贝壳找房的2021，依然充满变数
配图来自Canva可画 2021年的贝壳找房充满变数,先是被指垄断,而后又失去了精神支柱一般的创始人左晖.在接二连三的打击中,贝壳发布了2021年上半年及第二季度财报,毫不意外贝壳找房业绩整体表现差强 ...
python爬取贝壳找房之北京二手房源信息
所用库 requests xpath解析库 multiprocessing多进程 pandas库用于保存csv文件实战背景本文首发于:python爬取贝壳找房之北京二手房源信息主要是为了做北京二 ...
贝壳找房挖到AI大牛叶杰平，房产中介转型需要技术，高估值更需要
杨净发自凹非寺量子位报道 | 公众号 QbitAI 前滴滴AI实验室负责人叶杰平,去贝壳找房了. 没错,从"行"到"住",从"车" ...
数据吞吐量高达800亿条！实时计算在贝壳找房的应用实践
摘要:本文由贝壳找房实时计算负责人刘力云分享,主要内容为 Apache Flink 在贝壳找房业务中的应用,分为以下三方面: 业务规模与演进 Hermes 实时计算平台介绍未来发展与规划重要:点击 ...
数据吞吐高达 21 亿条！实时计算在贝壳找房的应用实践
摘要:本文由贝壳找房实时计算负责人刘力云分享,主要内容为 Apache Flink 在贝壳找房业务中的应用,分为以下三方面: 业务规模与演进 Hermes 实时计算平台介绍未来发展与规划重要:点击 ...
贝壳找房值百亿美元吗？
来源:燃财经(ID:rancaijing) | 作者:唐亚华数据猿官网 | www.datayuan.cn 今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博 ...
案例分享 | TensorFlow 在贝壳找房中的实践
文:贝壳找房技术团队贝壳找房作为行业领先的房产服务互联网平台,通过开放数据资源和技术能力,聚合和赋能全行业的服务者,打造产业互联网下的"新居住"品质服务生态,致力于为全国家庭的品 ...
回顾·知识图谱在贝壳找房的从0到1实践
本文根据贝壳找房王贺青老师在DataFun Talk人工智能技术沙龙中分享的<知识图谱在贝壳找房的从0到1实践>编辑整理而成,在未改变原意的基础上稍做整理. 今天分享的内容有四个方面,第一 ...

贝壳找房二手房信息爬虫

贝壳找房二手房信息爬虫相关推荐

最新文章

热门文章