道路交通实时流量监控预测系统一些学习整理

道路交通实时流量监控预测系统
   项目背景：出行路线规划、交通部门对道路的规划与建设
   涉及那些步骤：并发采集数据(kafka)、实时数据处理(spark)、高效内存存储(redis)、建模实时预测(MLlib)、页面展示
   具体的业务需求：代码编程中提取吧（基本就是走一遍全部流程而已，没什么特定的业务需求）
   ------主要就是预测某段时间某路段堵不堵的业务问题！
   四个步骤：1.数据产生（模拟往kafka中写数据）、
       2.数据实时收集处理并存入redis、
       3.特征数据提取及模型建立（一脸萌？）
                   //读取数据（redis中）
                       //逻辑处理（滤波处理、构建特征因子）
                       //构建训练数据（根据特征因子）
                       //配置spark运行环境
                       //训练model（逻辑回归）
                       //测试
                       //获取评估值
                   4.模型预测《spark MLlib，先涨姿势，有需要再深入研究》
                   //模拟卡口数据，时间和卡口
                       //读数据
                       //数据准备
                       //配置spark
                       //加载模型（读取之前构建保存的model）
                       //预测
                       //结果保存


   cdh集成redis？ ----》集群中单独配置redis集群，然后配置zookeeper（搜spark整合redis？）
   maven的pom.xml要添加redis的配置
   <dependency>
       <groupId>redis.clients</groupId>
       <artifactId>jedis</artifactId>
       <version>3.1.0</version>
</dependency>

<dependency>
       <groupId>org.apache.commons</groupId>
       <artifactId>commons-lang3</artifactId>
       <version>3.3.2</version>
   </dependency>

spark MLlib好像不需要配置？ ----- hadoop mahout的就需要配置
   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-mllib_${scala.version}</artifactId>
       <version>${spark.version}</version>
</dependency>

道路交通实时流量监控预测系统一些学习整理相关推荐

道路交通实时流量监控预测系统（大讲台）
道路交通实时流量监控预测系统我们项目要做什么采集数据分析建模实时预测展示总体业务要求 GB级数据实时处理毫秒级延迟海量数据实时预测转载于:https://www.c ...
道路交通实时流量监控预测系统
课程大纲: 需求分析 1.项目背景 2.总体业务要求 3.难点分析数据收集 1.数据采集阶段技术对比 2.项目中数据采集技术Kafka 3.Kafka安装及基本操作 4.Kafka的API操作及项目 ...
vps实时流量监控linux,Linux流量监控工具/vps流量监控工具 – iftop
在类unix系统中,大家一定非常熟悉top命令,top命令可以查看系统资源.进程.内存占用等信息,且动态实时显示. 要查看网络状态可以使用netstat.nmap等工具.若要查看实时的网络流量,监控T ...
ubuntu流量监控_linux - 实时流量监控
前言有时候发现Linux主机的流量突然大涨,想要查看对应的IP是哪个,这时候就会用到iftop这个工具. iftop是类似于top的实时流量监控工具.可以用来监控网卡的实时流量(可以指定网段).反向 ...
iftop（网卡实时流量监控）
iftop 官方下载地址: http://www.ex-parrot.com/pdw/iftop/ yum install libpcap libpcap-devel ncurses ncurse ...
无线监控系统在道路交通上的优势
随着我国车辆消费越来越大,汽车使用量不断增多,造成了地面上的交通压力增大的现状,道路交通时监控已变得越来越重要,尤其是在十字路口交通拥堵情况下,配备相应的图像监视设备和视频监控.可将交通路口车辆运行状 ...
jsp+sql智能道路交通信息管理系统的设计与实现（论文+系统+开题报告+答辩PPT+外文翻译）
毕业设计(论文) 附件目录任务书1 文献综述4 开题报告9 译文14 译文原文附件A 毕业设计(论文) 任务书设计(论文)题目智能道路交通信息管理系统学院计算机学院专业计 ...
智慧轨道交通运维监控解决方案
交通作为国民经济和社会发展的基础性.先行性产业,在整个社会经济.民生发展中占有举足轻重的地位,随着包括5G基站建设.城际高速铁路和城市轨道交通.大数据中心.工业互联网在内的新基建按下加速键,轨道交通云 ...
计算机网络流量监控设计方案,计算机网络流量监控的设计与实现
[摘要]计算机网络流量监控已经成为网络安全管理的重要手段,本文介绍了通过深度报文检测技术来优化网络流量监控,同时完成模型的设计和技术实现,通过测试说明,本网络流量模型设计能够达到优化网络流量设计的目 ...

道路交通实时流量监控预测系统一些学习整理

道路交通实时流量监控预测系统一些学习整理相关推荐

最新文章

热门文章