知行教育大数据分析平台之基于Spark架构

1 介绍一下你们的项目

教育数仓解决的问题：
首先，受互联网+概念影响，越来越多的教育平台机构涌现，在线教育发展火热。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。
有鉴于此，我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。
具体的实现思路是，先建立企业的数据仓库，把分散的业务数据预处理，其次根据业务需求从海量的用户行为数据挖掘分析，定制出多维的数据集合，形成数据集市，供各个场景主题使用，最后用BI工具，进行前端展示。
所以，我们的技术解决了企业的三大痛点。一是数据量太大问题，传统数据库无法满足；二是系统多，数据分散问题，无法解决数据孤岛问题；三是，统计工作量太大，分析难度高问题，无法及时为企业提供数据参考。

2 数仓架构是什么用到了哪些技术？

，底层数据存储在Hive，数据计算使用Spark

3 什么是全量数据？

4 什么是增量数据？

5 增量数据如何同步？

6 缓慢渐变维问题如何解决的？

7 你们数仓分了几层？

<

知行教育大数据分析平台之基于Spark架构相关推荐

【大数据平台】基于Spark的美国新冠肺炎疫情数据分析及预测
(本实验系中国地质大学(武汉)2022年秋期大数据平台及应用课程设计) 一.选题背景新型冠状病毒疫情是由严重急性呼吸系统综合征冠状病毒2(SARS-CoV-2)导致的2019冠状病毒病(COVID- ...
clouderaManager--------------知行教育大数据分析平台（三）
维度分析数据仓库中的数据分析处理,其实就是对数据按照维度进行分析维度大白话:以不同的视角去看待数据维度是事务的特征,如颜色.区域.时间等,可以根据不同的维度来对指标进行分析对比. 维度也可以分 ...
clouderaManager----知行教育大数据分析平台（mysql---------ods）
hive中要做的事创建数据库 create database ods:. –设置一些配置 alter table COLUMNS_V2 modify column COMMENT varchar(2 ...
基于Hadoop和Spark体系的大数据分析平台构建
谢谢分享! 转载:http://www.sohu.com/a/249271561_481409 随着大数据.人工智能等技术的快速发展,企业对大数据平台的需求越来越强烈,通过大数据分析技术为企业提供经营 ...
超详攻略！Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析
简介: 5分钟读懂 Databricks 数据洞察 ~ 更多详细信息可登录 Databricks 数据洞察产品链接:https://www.aliyun.com/product/bigdata/sp ...
基于Tempo大数据分析平台的智慧博物馆大数据中心
一. 项目背景广义上来说,博物馆包括博物馆.文化馆.图书馆.美术馆.科技馆等各种公共服务场馆.随着"文化自信""文化强国"的国策,公共文化服务成为一个城市的综 ...
知行大数据分析平台需求说明
知行大数据分析平台需求规格说明书文件变更记录版本号日期变更人变更摘要批准人 V0.6 2019-12-30 XX 制定<需求规格说明书> V1.0 2019-01-02 XX ...
Spark大数据分析平台搭建
1摘要利用虚拟机实现Spark环境搭建,理解掌握大数据分析集群工作原理. 2题目解析面对海量的各种来源的数据,如何对这些零散的数据进行有效的分析,得到有价值的信息一直是大数据领域研究的热点问题.大 ...
基于Hadoop的基因组测序大数据分析平台研究
声明:基于Hadoop的基因组测序大数据分析平台研究是本人2018年的本科毕业设计课题,根据网络资源和自己的专业知识,独立完成整个流程设计.平台搭建和单元测试等工作.本系列文章是对该项目的一个整理总结 ...

知行教育大数据分析平台之基于Spark架构

1 介绍一下你们的项目

2 数仓架构是什么用到了哪些技术？

3 什么是全量数据？

4 什么是增量数据？

5 增量数据如何同步？

6 缓慢渐变维问题如何解决的？

7 你们数仓分了几层？

<

知行教育大数据分析平台之基于Spark架构相关推荐

最新文章

热门文章

知行教育大数据分析平台之基于Spark架构

1 介绍一下你们的项目

2 数仓架构是什么 用到了哪些技术？

3 什么是全量数据？

4 什么是增量数据？

5 增量数据如何同步？

6 缓慢渐变维问题如何解决的？

7 你们数仓分了几层？

<

知行教育大数据分析平台之基于Spark架构相关推荐

最新文章

热门文章

2 数仓架构是什么用到了哪些技术？