数据分析的发展及数据分析师的技能浅谈

文章目录

数据分析过程
数据分析师的工作
数据分析师的技能
数据分析师的发展方向

数据分析概述：
互联网改变了人类的通信方式，通信就是数据信息交换的过程。自移动互联网的兴起以及只能手机的普及，诞生了一批移动互联网公司，随着10年来的爆发式发展，移动互联网APP的业务需求已趋于饱和，伴随而来的是前期业务增长所积累的海量数据，***如何整理这些数据？如何利用这些数据？如何挖掘这些数据背后的商业价值？***如何分析数据，形成决策从而为公司的业务带来新的增长，成为每个互联网公司的核心，由此数据分析师再次被推上分口浪尖。

数据分析过程

数据分析可以分为数据获取（根据数据来源的不同，使用不同工具获取数据），数据提取（提取有效数据），数据清理（清理缺失值或者无意义数据或者不符合业务要求的数据），数据筛选（根据分析内容搭建分析指标，分析维度，筛选出符合分析维度的数据），数据可视化展示（根据分析维度，搭建透视表，数据明细表，以及可视化展示图表），数据报告（根据数据报表，数据图表完成数据报告的产出,PPT或者word文档）

数据分析师的工作

要搞清数据分析师的工作，先要搞清需要数据分析师的公司类别，不同类型的公司对数据分析师的定义不同，从而导致数据分析师的工作不同以及数据分析的技能要求不同。
需要数据分析岗的公司可以分为以下几类：
互联网公司，非互联网公司，咨询公司类公司。
互联网公司还可以细分为数据型互联网公司，移动APP互联网公司。
非互联网公司包括很多，如销售公司，银行，金融类公司等等，各行各业，各种类型(国企、
央企，股份制，外企等)
咨询公司类公司像是新闻行业，商业报告公司等等
数据型互联网公司主要以对望提供数据服务为主，公司有自己的数据库服务器，对外出售数据服务产品，如神策数据平台。其主要应用分布式数据库(hive,spark等)需要对分布式数据有基本了解，如搭建，维护，调优，以及分布式数据库的使用，机器学习模型构建等。这类公司需要的数据分析师技术性较强，公司更侧重数据分析师的代码能力，工程能力。
移动APP互联网公司与数据服务类型互联网公司类似，不同的是大型移动互联网公司一般有自己的数据分析平台，而中小型的互联网公司一般使用数据型互联网公司的产品。不仅注重分析工具的使用，同时注重分析师对本公司业务的了解以及本公司APP数据产生过程的了解。一般主要负责商业报表的展示以及数据报告的输出。
非互联网公司包括多种行业，不同体制的公司，每个公司的数据来源不同（excel,数据库，网站上公开信息等），对数据分析岗位的定义不同，对数据分析师的技能要求不同。
咨询公司一般是收集资料信息，产出商业文档为主。

数据分析师的技能

数据分析的过程对应相应的工具，目前行业内python,sql，excel为数据处理的主流的三大工具，三个工具各有优势，excel适合处理少量数据（10-100万条）如数据超过100万；python脚本的pandas,numpy库适合处理大量数据，清洗，筛选，整理，合并(100万及以上)，selenium,beautifulsoup库适合王爷数据的爬取及数据提取，matplotlib,seaborn,pyecharts适合数据报表的展示,sklearn库适合机器学习模型的建立（回归，聚类，决策树等）；sql数据提取筛选及简单数据清理；finebi,tableua适合商业平台数据展示。不同工具根据不同的使用场景才能做到物尽其用。

数据分析师的发展方向

根据数据分析师的工作内容，可以分为技术岗和业务岗，技术岗主要是数据科学家，数据建模师。主要负责公司数据平台的搭建（包括公司数据库搭建及维护，数据开发平台的开发及维护），基于公司业务的分析模型的搭建及检验（如回归模型，聚类模型，决策树模型）。
业务岗主要是数据经理，数据产品经理等。主要负责根据公司业务搭建分析指标和分析维度，基于分析结果产出决策报告。

以上是本人对数据分析行业及数据分析师岗位的一些不成熟见解，如有误谬，敬请大佬指正。