Apsara Clouder大数据专项技能认证：基于MaxCompute的热门话题分析

最花费时间的数据预处理环节

数据挖掘会大量应用人工智能工具。

如决策树：细分问题。聚类、回归分析等。

数据分析更侧重数据展示。将趋势或一些其他内容呈现出来。

数据可视化就是将结果美观的展示出来，需要吸引眼球。（感觉说的是美工或者原型制作那种）

数据汇报：1、现状，2、对比，3、构成，4、趋势，5、原因，6、预测，7、建议

数据分析思维和方法

5W2H分析方法：通过设问题抛出问题，在尝试回答从而分析问题的方法。what、when、where、why、who。how、how much

逻辑树分析法：将复杂问题分解成子集，寻求简单解法。

对比分析法：广泛寻找不同维度，在不同维度上进行数据对比的办法。

假设分析法：万物先假设，尝试验证，通过验证结果分析问题。

GIGO原则（Garbage In GARbage Out）为了保证分析结果正确

脏数据：不能为分析目标产生价值的数据成为脏数据；空缺值、无意义值、噪声数据。

数据质量六要素：完整性、唯一性、及时性（年龄、手机号码）、有效性（不符合格式）、准确性（符合格式内容错误）、一致性。

数据清洗保证数据质量

常见数据清洗方法：

编程法

excel法常用函数和查找替换（VLOOKUP，COUNTIFS）

Excel手动计算填充（平均数、中位数、众数，默认值填充；AVERAGE、MEDIAN、MODE）

中位数：员工的工资代表性

平均数：各个班级（门店）的平均成绩

众数：学历、评级等离散型数据的统计需求

按照计算量付费

QuickBI云上数据可视化分析

实验步骤

创建资源

打开账户

使用dataworks大数据开发治理平台管理MaxCompute功能

CREATE TABLE city_top as SELECT city_name, COUNT(ttext_id) as tempnum FROM `ttext` GROUP BY city_name ORDER BY tempnum desc limit 10

SQL解释：该SQL会查询各个城市各有多少条推文数量，并降序显示前十名的城市和推文数量，最后

把查询的前十名数据存储到一个叫做city_top的表中，便于下一步做可视化。

CREATE TABLE gender_num as SELECT `gender` , COUNT(gender) as tempnum FROM `ttext` GROUP BY `gender`

按照性别分别查询男女的推文数量，并存储到gender_num的表中，便于下一步做可视化。

CREATE TABLE age_num as SELECT `user_age` , COUNT(user_age) FROM `ttext` GROUP BY `user_age` ORDER BY `user_age` LIMIT 100

按照年龄分组查询各个年龄的用户总数，并按照年龄排序，最后存储到age_num的表中，便于下一步做可视化。

Apsara Clouder大数据专项技能认证：基于MaxCompute的热门话题分析相关推荐

基于MaxCompute的热门话题分析笔记
数据分析流程六步法数据集成数据预处理数据标准化统一数据标准数据清洗清洗脏数据数据规约减少数据样本数量数据加载再次保存数据挖掘数据分析数据可视化数据汇报数据分析思维和方法 ...
【考试记录】Apsara Clouder大数据技能认证：MOOC网站日志分析
一:考试总结这个个人感觉还是不错的,视频的干货不少,最后的实验的东西也是和之前的QuickBI联系的很密切,基本的过程就是给你数据,然后数据清洗,再利用MaxCompute进行计算,最后利用Quic ...
大数据Clouder专项技能认证课程：Quick BI企业报表制作
课程介绍阿里云大学Clouder大数据专项技能认证:Quick BI企业报表制作本认证课程可以帮助学员掌握图形化报表设计.开发的方法,同时还将掌握搭建企业级报表门户.通过报表门户,将企业的数据通过 ...
Clouder专项技能认证课程：网站建设——部署与发布
2019独角兽企业重金招聘Python工程师标准>>> 课程介绍 Clouder-ACP专项技能认证:网站建设建站认证可以帮助学员掌握如何将一个本地已经设计好的静态网站发布到Int ...
【学习总结】-Apsara Clouder专项技能认证：实现调用API接口学习总结
Apsara Clouder专项技能认证:实现调用API接口-学习总结 API的概念: API的特点: API的分类: 为什么要使用API 阿里云API市场 API请求与认证 Web API协议 HT ...
Apsara Clouder专项技能认证：实现调用API接口|参考文档
API简介 API的概念 API(Application Programming Interface , 应用程序编程接口)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一 ...
Apsara Clouder云计算专项技能认证：云服务器ECS入门[考试真题]
Apsara Clouder云计算专项技能认证:云服务器ECS入门[认证考试真题](答案仅供参考) 单选题13题开放云服务器ECS安全组里22端口,有什么作用? A.可以远程访问数据库 B.支持ht ...
Apsara Clouder云计算专项技能认证:云服务器ECS
介绍 Apsara Clouder云计算专项技能认证:云服务器ECS入门题库,本人得分85分(60分及格),如有错误,欢迎指导,谢谢. 题库单选1.云服务器ECS产品丰富,以下哪个不是云服务器ECS ...
【阿里云】Apsara Clouder云计算专项技能认证-云服务器ECS入门，考试真题分享
以下是阿里云Apsara Clouder云计算专项技能认证-云服务器ECS入门真题汇总篇分享: 1.下列哪一个不是重置ECS密码的步骤? A. 查看实例详情 B.进入控制台 C.远程连接ECS D.点 ...

Apsara Clouder大数据专项技能认证：基于MaxCompute的热门话题分析

Apsara Clouder大数据专项技能认证：基于MaxCompute的热门话题分析相关推荐

最新文章

热门文章