python爬取路况信息_高德实时路况数据获取
高德实时路况数据获取接口说明:
link
高德数据获取流程
数据库设计
CREATE TABLE "public"."gaode_date" (
"name" varchar(50) COLLATE "default",
"status" int4,
"direction" varchar(50) COLLATE "default",
"angle" int4,
"lcodes" varchar(255) COLLATE "default",
"polyline" text COLLATE "default",
"id" int4 DEFAULT nextval('gaode_id_seq'::regclass) NOT NULL,
"geom" "public"."geometry",
"date" date,
"time" time(6),
"speed" float8,
CONSTRAINT "gaode_date_pkey" PRIMARY KEY ("id")
)
WITH (OIDS=FALSE)
;
ALTER TABLE "public"."gaode_date" OWNER TO "postgres";
COMMENT ON COLUMN "public"."gaode_date"."name" IS '道路名称';
COMMENT ON COLUMN "public"."gaode_date"."status" IS '路况 0:未知 1:畅通 2:缓行 3:拥堵';
COMMENT ON COLUMN "public"."gaode_date"."direction" IS '方向描述';
COMMENT ON COLUMN "public"."gaode_date"."angle" IS '车行角度,判断道路正反向使用。以正东方向为0度,逆时针方向为正,取值范围:[0,360]';
COMMENT ON COLUMN "public"."gaode_date"."lcodes" IS '方向';
COMMENT ON COLUMN "public"."gaode_date"."polyline" IS '道路坐标集,坐标集合';
COMMENT ON COLUMN "public"."gaode_date"."date" IS '请求日期';
COMMENT ON COLUMN "public"."gaode_date"."time" IS '请求时间';
COMMENT ON COLUMN "public"."gaode_date"."speed" IS '速度';
CREATE TRIGGER "beforeinsertinsertgaodedata_trigger" BEFORE INSERT ON "public"."gaode_date"
FOR EACH ROW
EXECUTE PROCEDURE "beforeinsertgaodedata"();
请求高德数据Python脚本
import requests
import json
import time
from pandas import DataFrame
import psycopg2
#请求高德实时路况数据
def getGaodeTrafficStatus(key,rectangle,currentTime):
insert_list = []
TrafficStatusUrl = 'http://restapi.amap.com/v3/traffic/status/rectangle?key='+key+'&rectangle='+rectangle+'&extensions=all';
res = requests.get(url=TrafficStatusUrl).content;
total_json = json.loads(res);
print(total_json);
jsondata = total_json['trafficinfo']['roads'];
print(jsondata);
currentDate = time.strftime("%Y-%m-%d", time.localtime());
if any(jsondata):
for i in jsondata:
name = i['name']
status = i['status']
direction = i['direction']
angle = i['angle']
speed = i.get('speed');
# 若速度参数缺失,补为Null
if speed == None:
speed = None;
print(speed);
lcodes = i['lcodes']
polyline = i['polyline']
list = [name, status, direction, angle, lcodes, polyline, currentDate, currentTime, speed];
insert_list.append(list);
conn = psycopg2.connect(database="superpower", user="postgres", password="123456", host="localhost", port="5432");
cur = conn.cursor();
for i in insert_list:
if len(i):
cur.execute(
"insert into gaode_date(name, status, direction, angle, lcodes, polyline, date, time,speed) values (%s,%s,%s,%s,%s,%s,%s,%s,%s)",
i)
conn.commit()
conn.close()
else:
pass
#注册多个高德key,轮流使用,并记录请求的个数,满2000次换下一个key继续请求。
keyList=[{}];
#建立覆盖研究区的rectangle数组
rectangleList=[];
#创建请求时间,确保一次请求的时间都相同
currentTime = time.strftime("%H:%M:%S", time.localtime()); # 设置请求时间
key='yourKey';
rectangle='120.12924,30.30185;120.16018,30.27150';
getGaodeTrafficStatus(key,rectangle,currentTime);
空间信息解析(在此采用触发器,对数据进行解析,插入数据的同时完成空间信息的解析,减少人工参与。),触发器Sql脚本如下:
--高德数据插入触发器
CREATE OR REPLACE FUNCTION BeforeInsertGaodeData() RETURNS TRIGGER AS $example_table$
BEGIN
--自动进行坐标计算,并赋值
NEW.geom=ST_LineFromText('LINESTRING('||replace(replace(New.polyline,',',' '),';',',')||')',4326);
return new;
End ;
$example_table$ LANGUAGE plpgsql;
CREATE TRIGGER BeforeInsertInsertGaodeData_trigger Before INSERT ON gaode_date FOR EACH ROW EXECUTE PROCEDURE BeforeInsertGaodeData ();
数据查看,可视化获取的高德数据,如下(未正儿八经的进行渲染:)
image
爬取整个研究区域的实时路况数据
构建整个研究区域的网格,如下图,构建网格过程略。
image
网格数据库脚本
CREATE TABLE "public"."hangzhou_grid" (
"gid" int4 DEFAULT nextval('hangzhou_grid_gid_seq'::regclass) NOT NULL,
"id" numeric(10),
"__xmin" numeric,
"__xmax" numeric,
"ymin" numeric,
"ymax" numeric,
"geom" "public"."geometry",
CONSTRAINT "hangzhou_grid_pkey" PRIMARY KEY ("gid")
)
WITH (OIDS=FALSE)
;
ALTER TABLE "public"."hangzhou_grid" OWNER TO "postgres";
COMMENT ON COLUMN "public"."hangzhou_grid"."__xmin" IS '最小x';
COMMENT ON COLUMN "public"."hangzhou_grid"."__xmax" IS '最大x';
COMMENT ON COLUMN "public"."hangzhou_grid"."ymin" IS '最小y';
COMMENT ON COLUMN "public"."hangzhou_grid"."ymax" IS '最大y';
CREATE INDEX "hangzhou_grid_geom_idx" ON "public"."hangzhou_grid" USING gist ("geom");
3.请求整个杭州高德实时路况数据Python脚本
#请求整个杭州的区域
conn = psycopg2.connect(database="superpower", user="postgres", password="123456", host="localhost", port="5432");
cur = conn.cursor();
#获取覆盖研究区域的网格
cur.execute("select t.__xmin||','||t.ymin||';'||t.__xmax||','||t.ymax rectangle from hangzhou_grid t");
rectangleData=cur.fetchall();
cur.close;
conn.close();
#创建请求时间,确保一次请求的时间都相同
currentTime = time.strftime("%H:%M:%S", time.localtime()); # 设置请求时间
for rec in rectangleData:
print(rec[0]);
getGaodeTrafficStatus(key,rec[0],currentTime);
查看请求结果,如下图
image
总结
该方法基本能够将请求区域里的数据,进行覆盖。
获取的数据只是原始数据,若需要进行使用可能需要进行进一步处理,如将某时刻重复数据去除等。
高德API接口有请求次数的限制,因此要覆盖大多数时间,需要申请多个key,大致是60个key,目前不知道高德有没有限制一个IP地址访问次数。(后面持续改进方向:建立key表记录每个key一天访问的次数,动态分配key)
该方法也可以构建研究区域的主要道路,解放道路采集的人力。
python爬取路况信息_高德实时路况数据获取相关推荐
- python爬取二手房信息_刚刚接触PythonR?教你爬取分析赶集网北京二手房数据(附详细代码)...
原标题:刚刚接触Python&R?教你爬取分析赶集网北京二手房数据(附详细代码) 源 /数据森麟文 /徐涛 前言: 本文主要分为两部分:Python爬取赶集网北京二手房数据&R对爬取的 ...
- python爬取旅游信息_用Python爬取了全国近5000家旅游景点,分析国庆去哪玩
2020 国庆马上就要到了 我想今年大家在家都憋坏了 今年国庆和中秋刚好又是同一天,加起来有 8 天假 这么长的假期,当然是出去 玩玩玩! 但是每次长假期间,你有没有想起被人山人海支配的恐惧呢? 那么 ...
- python爬取地图数据_高德3地图之python爬取POI数据及其边界经纬度(根据关键字在城市范围内搜索)...
目前高德的边界没法批量爬取,不过可以采用百度地图的接口来替代,目前用着还可以,参见这里: 为了方便大家,不用再为安装环境,以及运行报错等问题困扰,目前已经将POI数据爬取做成一个在线公开的数工具,地址 ...
- python爬取旅游信息_用Python爬取分析全国旅游数据-Go语言中文社区
前言: Python对于本人来讲也是一个在逐渐学习掌握的过程,这次的内容就从旅游开始讲起,进入正文前首先附(fang)上(du)最令我垂涎欲滴的海鲜盛宴. 数据爬取: 最近几天朋友圈被大家的旅行足迹刷 ...
- python爬取职位信息_爬虫项目 智联-职位信息爬取
[ { "招聘信息": [ " 职位月薪:15000-20000元/月 工作地点:北京 发布日期:2018-07-24 14:39:49 工作性质:全职 工作经验:3-5 ...
- python爬取机票信息
python爬取机票信息 飞机和高铁列车不同,在同样的航线中有着不同的票价,借此我们希望获取尽量多的机票信息来分析机票的变化规律. 首先我们选取京东机票为爬取对象http://jipiao.jd.co ...
- Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂,注释超级全,代码可以直接运行】
Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步 步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...
- python爬取控制台信息_python爬虫实战之爬取智联职位信息和博客文章信息
1.python爬取招聘信息 简单爬取智联招聘职位信息 # !/usr/bin/env python # -*-coding:utf-8-*- """ @Author ...
- Python爬取售房信息并保存至CSV文件
Python爬取售房信息并保存至CSV文件 在上一篇文章: Python爬取租房信息并保存至Excel文件,介绍了如何使用Python爬取租房信息并保存至Excel文件,在本案例中则是使用Python ...
最新文章
- 同步锁Lock的使用
- C 整数反转
- 博科:毫不迟疑地入软件网络时代
- tea java 代码,TeaVM编译器如何将Java应用程序转换为Javascript,以及如何使用MicroK8管理嵌入...
- Nginx RTMP 功能研究
- 关于Visual Studio 2017安装需要注意的细节
- brew下载的mysql卸载_Mac中mongoDB的安装与卸载步骤详解
- kopernio显示无效程序_daz 无法渲染/没有渲染/渲染不显示/渲染无效?
- python turtle绘图
- 圆通快递单号yt开头_圆通快递单号yt开头怎么查不到 点查询即可如果是圆通快递可以...
- python pdf转为图片
- 苹果cms模板_万词无限模板站群黑帽SEO利器
- 这辈子要做件有意义的事
- 八:微服务调用组件Dubbo
- PE系统优盘制作教程
- 洛谷P4147 玉蟾宫(单调栈解决)
- 脑机接口技术使瘫痪病人重获运动能力,4D打印技术已经到来!|技术前沿洞察...
- laravel学习笔记------使用 Entrust 扩展包在 Laravel 5 中实现 RBAC 权限管理
- 智佩店装完成千万级天使轮融资,深耕连锁店装
- OSGi 框架的组件运行机制
热门文章
- ZigBee智能开关和单火线取电技术
- asp.net一键服务器小工具_HashTab-查看哈希值小工具,一键插件文件md5值
- Codeforces Round #657 (Div. 2) B题 Dubious Cyrpto
- SQL Server笔记心得(持续更新)
- Android极速从视频里提取音频
- DDoS防御服务器应该如何选择?
- 我的awk常用命令备忘 xargs备忘
- java计算机毕业设计黑格伯爵国际英语贵族学校官网源码+mysql数据库+系统+lw文档+部署
- nodejs实现分解质因数的算法
- 推荐系统实战(5)——基于内容的推荐算法(CB)