成功输出美团app美食销售人气榜网页

# 仅需修改这个地方https://jn.lianjia.com/ershoufang/pg{}rs/   将jn换成你所在城市的拼写首字母小写
import requests
from lxml import etree
import time
import random
import csvclass LianjiaSpider(object):def __init__(self):self.url = "https://mobilenext-web.meituan.com/newSalesBoard?boardType=8&ci=96&areaId=6723&cateId=2&districtId=0&poiId=595175031&f=android&lat=36.526046191159445&lng=122.062217811"self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"}def get_page(self, url):res = requests.get(url=url, headers=self.headers)res.encoding = "utf-8"html = res.textprint(html)# 调用解析函数#   self.parse_page(html)def parse_page(self, html):parse_html = etree.HTML(html)house_dict = {}house_list = parse_html.xpath("//div//ul[@class='sellListContent']//li")for house in house_list:house_dict["name"] = house.xpath(".//div[@class='title']/a//text()")[0]house_dict["totalprice"] = house.xpath(".//div[@class='totalPrice']/span//text()")[0]house_dict["uniteprice"] = house.xpath(".//div[@class='unitPrice']/span//text()")[0]house_dict["houseInfo"] = house.xpath(".//div[@class='houseInfo']/text()")[0]house_dict["positionInfoShequ"] = house.xpath(".//div[@class='positionInfo']/a[1]//text()")[0]house_dict["positionInfoJiedao"] = house.xpath(".//div[@class='positionInfo']/a[2]//text()")[0]house_dict["followInfo"] = house.xpath(".//div[@class='followInfo']/text()")[0]print(house_dict)with open('F:/top250/lianjia.csv', 'a', newline='', encoding='utf-8')as f:write = csv.writer(f)# write.writerow([house_dict["name"],house_dict["totalprice"],house_dict["uniteprice"],house_dict["info"]])write.writerow([house_dict["name"], house_dict["totalprice"], house_dict["uniteprice"], house_dict["houseInfo"],house_dict["positionInfoShequ"], house_dict["positionInfoJiedao"], house_dict["followInfo"]])f.close()def main(self):try:for i in range(1, 2000):time.sleep(random.randint(3, 5))url = self.url.format(i)self.get_page(url)except:self.main()if __name__ == '__main__':start = time.time()spider = LianjiaSpider()spider.main()end = time.time()print("执行时间：%.2f" % (end - start))

成功输出美团app美食销售人气榜网页相关推荐

《iVX 高仿美团APP制作移动端完整项目》04 美食页标题、搜索、商家标题制作
点击整个专栏查看其它系列文章 (系列文章更新中-):<iVX 高仿美团APP制作移动端完整项目> 项目界面预览: 一.美食页顶部商家页制作 1.1 页面主格调确认该美食页为首页中美食按钮 ...
基于Appium的APP自动化测试基础--美团APP的实例
前段时间用一种流行语言,一个主流工具,一个实用框架,写了一个美团app自动化测试的Demo,利用appium+python+unittest+uiautomatorviewer,编写了测试用例,并通过 ...
《2018年五一小长假人气榜》大数据发布！
今年4月有两次小长假,旅行需求集中爆发,不少消费者已经提前做好规划和行程预订,新一波出游高峰即将到来.4月18日,美团旅行大数据发布<2018五一小长假人气榜>,对五一小长假期间的旅行市场 ...
美团外卖美食知识图谱的迭代及应用
来源:美团技术团队本文约6300字,建议阅读10+分钟本文系统地介绍了美团外卖美食知识图谱的标签体系结构,包括菜品类目标签.标准菜品名.美食基础属性(食材.口味等)和美食业务主题属性(商家招牌.类目经 ...
神马搜索上线奥运会人气榜单中国女排包揽前三
继战胜东道主巴西女排后,中国女排在今天对阵荷兰女排的半决赛中再次取得胜利,时隔12年再次跻身奥运决赛.在中国女排取得佳绩的同时,神马搜索奥运会人气榜单显示,中国女排队员惠若琪.张常宁.朱婷占据了榜单前 ...
互联网早报 | 3月16日星期二 | 微信AI直播助理开放内测；汽车之家港交所挂牌上市；美团App内测“群聊”功能...
今日看点 ✦ 汽车之家港交所成功挂牌,成年内首家回港二次上市中概股 ✦ 恒大汽车与腾讯旗下梧桐车联成立合资公司 ,共同开发车载智能操作系统 ✦ 微信AI直播助理开放内测,助力电商带货 ✦ 美团App内 ...
360搜索、UC浏览器等被3·15点名应用已下架；马斯克宣布通过NFT卖歌；美团App再发力社交，内测 “群聊”功能 |极客头条...
「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 丁恩华出品 | CSDN(ID:CSDNnews ...
美团App页面视图可测性改造实践
一次编写多处运行的动态化容器技术给研发效率带来了极大的提升,但对于依旧需要多端验证的测试流程来说,在效率层面却面临着极大的挑战.本文围绕动态化容器中的动态布局技术,阐述了如何通过可测性改造来帮助达成提 ...
360搜索、UC浏览器等被3·15点名应用已下架；马斯克宣布通过NFT卖歌；美团App再发力社交，内测 “群聊”功能...
凌云时刻一分钟速览新闻点! 猎聘.前程无忧为大量简历流向黑市而致歉医疗广告竞价排名,360 搜索.UC 纷纷上榜 315 晚会 315 晚会曝光人脸识别乱象:海量人脸信息已被搜集安兔兔曝光 re ...

成功输出美团app美食销售人气榜网页

成功输出美团app美食销售人气榜网页相关推荐

最新文章

热门文章