高德实时路况数据获取接口说明:

link

高德数据获取流程

数据库设计

CREATE TABLE "public"."gaode_date" (

"name" varchar(50) COLLATE "default",

"status" int4,

"direction" varchar(50) COLLATE "default",

"angle" int4,

"lcodes" varchar(255) COLLATE "default",

"polyline" text COLLATE "default",

"id" int4 DEFAULT nextval('gaode_id_seq'::regclass) NOT NULL,

"geom" "public"."geometry",

"date" date,

"time" time(6),

"speed" float8,

CONSTRAINT "gaode_date_pkey" PRIMARY KEY ("id")

)

WITH (OIDS=FALSE)

;

ALTER TABLE "public"."gaode_date" OWNER TO "postgres";

COMMENT ON COLUMN "public"."gaode_date"."name" IS '道路名称';

COMMENT ON COLUMN "public"."gaode_date"."status" IS '路况 0:未知 1:畅通 2:缓行 3:拥堵';

COMMENT ON COLUMN "public"."gaode_date"."direction" IS '方向描述';

COMMENT ON COLUMN "public"."gaode_date"."angle" IS '车行角度,判断道路正反向使用。以正东方向为0度,逆时针方向为正,取值范围:[0,360]';

COMMENT ON COLUMN "public"."gaode_date"."lcodes" IS '方向';

COMMENT ON COLUMN "public"."gaode_date"."polyline" IS '道路坐标集,坐标集合';

COMMENT ON COLUMN "public"."gaode_date"."date" IS '请求日期';

COMMENT ON COLUMN "public"."gaode_date"."time" IS '请求时间';

COMMENT ON COLUMN "public"."gaode_date"."speed" IS '速度';

CREATE TRIGGER "beforeinsertinsertgaodedata_trigger" BEFORE INSERT ON "public"."gaode_date"

FOR EACH ROW

EXECUTE PROCEDURE "beforeinsertgaodedata"();

请求高德数据Python脚本

import requests

import json

import time

from pandas import DataFrame

import psycopg2

#请求高德实时路况数据

def getGaodeTrafficStatus(key,rectangle,currentTime):

insert_list = []

TrafficStatusUrl = 'http://restapi.amap.com/v3/traffic/status/rectangle?key='+key+'&rectangle='+rectangle+'&extensions=all';

res = requests.get(url=TrafficStatusUrl).content;

total_json = json.loads(res);

print(total_json);

jsondata = total_json['trafficinfo']['roads'];

print(jsondata);

currentDate = time.strftime("%Y-%m-%d", time.localtime());

if any(jsondata):

for i in jsondata:

name = i['name']

status = i['status']

direction = i['direction']

angle = i['angle']

speed = i.get('speed');

# 若速度参数缺失,补为Null

if speed == None:

speed = None;

print(speed);

lcodes = i['lcodes']

polyline = i['polyline']

list = [name, status, direction, angle, lcodes, polyline, currentDate, currentTime, speed];

insert_list.append(list);

conn = psycopg2.connect(database="superpower", user="postgres", password="123456", host="localhost", port="5432");

cur = conn.cursor();

for i in insert_list:

if len(i):

cur.execute(

"insert into gaode_date(name, status, direction, angle, lcodes, polyline, date, time,speed) values (%s,%s,%s,%s,%s,%s,%s,%s,%s)",

i)

conn.commit()

conn.close()

else:

pass

#注册多个高德key,轮流使用,并记录请求的个数,满2000次换下一个key继续请求。

keyList=[{}];

#建立覆盖研究区的rectangle数组

rectangleList=[];

#创建请求时间,确保一次请求的时间都相同

currentTime = time.strftime("%H:%M:%S", time.localtime()); # 设置请求时间

key='yourKey';

rectangle='120.12924,30.30185;120.16018,30.27150';

getGaodeTrafficStatus(key,rectangle,currentTime);

空间信息解析(在此采用触发器,对数据进行解析,插入数据的同时完成空间信息的解析,减少人工参与。),触发器Sql脚本如下:

--高德数据插入触发器

CREATE OR REPLACE FUNCTION BeforeInsertGaodeData() RETURNS TRIGGER AS $example_table$

BEGIN

--自动进行坐标计算,并赋值

NEW.geom=ST_LineFromText('LINESTRING('||replace(replace(New.polyline,',',' '),';',',')||')',4326);

return new;

End ;

$example_table$ LANGUAGE plpgsql;

CREATE TRIGGER BeforeInsertInsertGaodeData_trigger Before INSERT ON gaode_date FOR EACH ROW EXECUTE PROCEDURE BeforeInsertGaodeData ();

数据查看,可视化获取的高德数据,如下(未正儿八经的进行渲染:)

image

爬取整个研究区域的实时路况数据

构建整个研究区域的网格,如下图,构建网格过程略。

image

网格数据库脚本

CREATE TABLE "public"."hangzhou_grid" (

"gid" int4 DEFAULT nextval('hangzhou_grid_gid_seq'::regclass) NOT NULL,

"id" numeric(10),

"__xmin" numeric,

"__xmax" numeric,

"ymin" numeric,

"ymax" numeric,

"geom" "public"."geometry",

CONSTRAINT "hangzhou_grid_pkey" PRIMARY KEY ("gid")

)

WITH (OIDS=FALSE)

;

ALTER TABLE "public"."hangzhou_grid" OWNER TO "postgres";

COMMENT ON COLUMN "public"."hangzhou_grid"."__xmin" IS '最小x';

COMMENT ON COLUMN "public"."hangzhou_grid"."__xmax" IS '最大x';

COMMENT ON COLUMN "public"."hangzhou_grid"."ymin" IS '最小y';

COMMENT ON COLUMN "public"."hangzhou_grid"."ymax" IS '最大y';

CREATE INDEX "hangzhou_grid_geom_idx" ON "public"."hangzhou_grid" USING gist ("geom");

3.请求整个杭州高德实时路况数据Python脚本

#请求整个杭州的区域

conn = psycopg2.connect(database="superpower", user="postgres", password="123456", host="localhost", port="5432");

cur = conn.cursor();

#获取覆盖研究区域的网格

cur.execute("select t.__xmin||','||t.ymin||';'||t.__xmax||','||t.ymax rectangle from hangzhou_grid t");

rectangleData=cur.fetchall();

cur.close;

conn.close();

#创建请求时间,确保一次请求的时间都相同

currentTime = time.strftime("%H:%M:%S", time.localtime()); # 设置请求时间

for rec in rectangleData:

print(rec[0]);

getGaodeTrafficStatus(key,rec[0],currentTime);

查看请求结果,如下图

image

总结

该方法基本能够将请求区域里的数据,进行覆盖。

获取的数据只是原始数据,若需要进行使用可能需要进行进一步处理,如将某时刻重复数据去除等。

高德API接口有请求次数的限制,因此要覆盖大多数时间,需要申请多个key,大致是60个key,目前不知道高德有没有限制一个IP地址访问次数。(后面持续改进方向:建立key表记录每个key一天访问的次数,动态分配key)

该方法也可以构建研究区域的主要道路,解放道路采集的人力。

python爬取路况信息_高德实时路况数据获取相关推荐

  1. python爬取二手房信息_刚刚接触PythonR?教你爬取分析赶集网北京二手房数据(附详细代码)...

    原标题:刚刚接触Python&R?教你爬取分析赶集网北京二手房数据(附详细代码) 源 /数据森麟文 /徐涛 前言: 本文主要分为两部分:Python爬取赶集网北京二手房数据&R对爬取的 ...

  2. python爬取旅游信息_用Python爬取了全国近5000家旅游景点,分析国庆去哪玩

    2020 国庆马上就要到了 我想今年大家在家都憋坏了 今年国庆和中秋刚好又是同一天,加起来有 8 天假 这么长的假期,当然是出去 玩玩玩! 但是每次长假期间,你有没有想起被人山人海支配的恐惧呢? 那么 ...

  3. python爬取地图数据_高德3地图之python爬取POI数据及其边界经纬度(根据关键字在城市范围内搜索)...

    目前高德的边界没法批量爬取,不过可以采用百度地图的接口来替代,目前用着还可以,参见这里: 为了方便大家,不用再为安装环境,以及运行报错等问题困扰,目前已经将POI数据爬取做成一个在线公开的数工具,地址 ...

  4. python爬取旅游信息_用Python爬取分析全国旅游数据-Go语言中文社区

    前言: Python对于本人来讲也是一个在逐渐学习掌握的过程,这次的内容就从旅游开始讲起,进入正文前首先附(fang)上(du)最令我垂涎欲滴的海鲜盛宴. 数据爬取: 最近几天朋友圈被大家的旅行足迹刷 ...

  5. python爬取职位信息_爬虫项目 智联-职位信息爬取

    [ { "招聘信息": [ " 职位月薪:15000-20000元/月 工作地点:北京 发布日期:2018-07-24 14:39:49 工作性质:全职 工作经验:3-5 ...

  6. python爬取机票信息

    python爬取机票信息 飞机和高铁列车不同,在同样的航线中有着不同的票价,借此我们希望获取尽量多的机票信息来分析机票的变化规律. 首先我们选取京东机票为爬取对象http://jipiao.jd.co ...

  7. Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂,注释超级全,代码可以直接运行】

    Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步 步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...

  8. python爬取控制台信息_python爬虫实战之爬取智联职位信息和博客文章信息

    1.python爬取招聘信息 简单爬取智联招聘职位信息 # !/usr/bin/env python # -*-coding:utf-8-*- """ @Author  ...

  9. Python爬取售房信息并保存至CSV文件

    Python爬取售房信息并保存至CSV文件 在上一篇文章: Python爬取租房信息并保存至Excel文件,介绍了如何使用Python爬取租房信息并保存至Excel文件,在本案例中则是使用Python ...

最新文章

  1. 同步锁Lock的使用
  2. C 整数反转
  3. 博科:毫不迟疑地入软件网络时代
  4. tea java 代码,TeaVM编译器如何将Java应用程序转换为Javascript,以及如何使用MicroK8管理嵌入...
  5. Nginx RTMP 功能研究
  6. 关于Visual Studio 2017安装需要注意的细节
  7. brew下载的mysql卸载_Mac中mongoDB的安装与卸载步骤详解
  8. kopernio显示无效程序_daz 无法渲染/没有渲染/渲染不显示/渲染无效?
  9. python turtle绘图
  10. 圆通快递单号yt开头_圆通快递单号yt开头怎么查不到 点查询即可如果是圆通快递可以...
  11. python pdf转为图片
  12. 苹果cms模板_万词无限模板站群黑帽SEO利器
  13. 这辈子要做件有意义的事
  14. 八:微服务调用组件Dubbo
  15. PE系统优盘制作教程
  16. 洛谷P4147 玉蟾宫(单调栈解决)
  17. 脑机接口技术使瘫痪病人重获运动能力,4D打印技术已经到来!|技术前沿洞察...
  18. laravel学习笔记------使用 Entrust 扩展包在 Laravel 5 中实现 RBAC 权限管理
  19. 智佩店装完成千万级天使轮融资,深耕连锁店装
  20. OSGi 框架的组件运行机制

热门文章

  1. ZigBee智能开关和单火线取电技术
  2. asp.net一键服务器小工具_HashTab-查看哈希值小工具,一键插件文件md5值
  3. Codeforces Round #657 (Div. 2) B题 Dubious Cyrpto
  4. SQL Server笔记心得(持续更新)
  5. Android极速从视频里提取音频
  6. DDoS防御服务器应该如何选择?
  7. 我的awk常用命令备忘 xargs备忘
  8. java计算机毕业设计黑格伯爵国际英语贵族学校官网源码+mysql数据库+系统+lw文档+部署
  9. nodejs实现分解质因数的算法
  10. 推荐系统实战(5)——基于内容的推荐算法(CB)