工业数据分析技术与实战之入门——昆仑数据田春华培训听课记录
昆仑数据田春华老师在微信公众号的专栏培训：工业数据分析与实战。培训给出了一些实际的数据分析例子，包括“设备管理”、“运作优化”和“营销服务”三类；然后讲了数据分析的基本框架、方法和技术；最后给出了大数据时代，数据分析的认识误区和挑战。田老师发音不标准啊，好多词听好几遍，再关联上下文，连猜带蒙的才勉强能明白，不过有的也不一定对。记录以反复学习。
视频链接
随着大数据越来越火，业界也产生了一种质疑：是不是大数据相当于一个算命，所有的问题都可以通过大数据来解决呢？今天，我们就这个话题进行一下概念澄清，也辅助我们工业界的从业者有一个更好的入门。
讲到大数据分析，我们过去也总结过，一个合格的数据分析师，应该具备什么技能，大概包括最基本的数学知识，包括统计学的一些知识，包括计算机，以及数据融合的一些知识点。说的更简单一点，就是我们所说的3T，3T也就是我们大家所说的OT、DT和IT。一个合格的数据分析师，我们过去一问，就是说只要懂算法，对算法了解比较深。到实际问题才发现，业务分析能力，其实对数据分析师要求还是很高的。第二呢，对于一些软件、工具，包括我们对应用开发、应用设计、UML、对我们的大数据平台的要求也是非常基本。我们这个课程，讲了DT里面的通用算法这一部分。通过这一部分的介绍，我们可以看到，其实所有的算法，其基本思想都是一样的，基本的路径都是一样的，采取一个好的方式，可能学起来比较简单，比较容易。大家也可能有一些困惑，到底应该怎么来了解这个数据分析呢？如果泛泛的讲，一下子就切入数据，大家可能感觉比较枯燥，先给大家举几个例子，来讨论一下在现实中，大家遇到的行业问题是什么。主要有设备管理、运作优化、营销服务。在这里面，数据分析怎么起的作用，包括这里面，为什么有的东西看起来，并没有我们想象的那么美好。这之后，我会把一些常见的数据分析技术做一下介绍，最后再讲一下在大数据时代，数据分析有什么不一样的地方，有什么特点。
此培训的核心信息也非常简单，第一个就是说，数据模型、大数据技术，包括深度学习，所有的模型，都有适用场景和前提条件，没有说任何一个模型，放之四海而皆准，除非它是伪科学，任何科学都是相对的。就像英文里说的“No free lunch“，没有免费的午餐，这里的意思就是你做了一些简化，取得了一些东西，也舍弃了一些东西，那就决定了我们的模型适用于什么，不适用于什么。再一个就是奥卡姆剃刀原理，在数学和工程中间，就像爱因斯坦说的，模型越简单越好，甚至再简单一步就会出错的情况，是最佳状态。也就是说，我们做实际的数据分析的时候，跟在高校做研究不一样，我们就希望用最简单的方式解决问题，不希望把事情搞复杂，搞的看起来高大上，实际上不解决实际问题。另外一个原则就是Garbage in， Garbage out。也就是说，如果数据本身不可靠，结果肯定不可靠。
另外，数据分析的组成要素，我们讲算法，讲深度学习，讲各种，其实在我们真正的数据分析项目中，算法恰恰是耗时最少的，一方面说明我们算法工作做的非常好，以至于已经形成规模化，造成我们不需要花太多时间去关注算法；第二，我们来看数据分析由四部分组成：数据加特征变量加算法加评估。算法是最通用，最成熟的一部分，只要我们掌握了基本的技巧，就可以解决很多问题。特别是在我们工业上，有好多问题有个很有意思的特点，八二原则，80%的问题非常好解，只有20%的问题才需要我们用深度学习，用高深的研究来做。其实工业界的工程人员，也可以解决很多很多有意思的问题，甚至这些问题的价值，在短期内，都比我们那20%的世界难题来的高。另外，就是说，虽然方法很多，常用的机器学习方法也有几十种到一百种左右。算法千变万化，但是核心思想基本不变：要不就是选一个合适的模型结构，要是线性模型不行，那就用一个非线性模型，如果全局不行，那我用局部线性行不行，不同的表达形式，可能适用于不同的条件。第二个是说，我们到底需要什么，我来改变目标函数，我是追求精度，还是追求强鲁棒性，这时候我们只要改变函数就可以。
这里我们也是跟管理者交流一个思想，数据分析好多时候，真正的立项包括项目管理中，我们很容易把它当成一个传统的信息化项目交付来看，就像一个交钥匙工程，就是签合同，到时候交活儿，就像装修完了交钥匙一样，非常标准。其实数据分析不是这样的，数据分析有一个很大的探索的味道在，就像我们科研，我们从数据中间，能不能得到我们想要的结论，这是要实事求是的。正因为存在这种不确定性，我们才要去做数据分析。如果这个结论都知道了，那数据分析就没有价值了。这也是数据分析的一个窘境，往往没有数据，或者数据本身很难的时候，才需要数据分析去解决，但是从另外一个方面，因为没有数据，数据很难，数据分析的成功率也就非常低。实事求是的讲，数据分析的真实的成功率，也就10%到20%左右。大部分也就是一个有意义的尝试。再就是，数据分析是一个技术，并不是所有数据分析的结论，都是有用的，有用这个东西，我们需要从业务角度，从市场角度来看。有用和挖掘出了比较可靠的结果，是两个方面。
工业数据分析技术与实战之入门——昆仑数据田春华培训听课记录相关推荐
- 工业数据分析技术与实战之设备管理——昆仑数据田春华培训听课记录
昆仑数据田春华老师在微信公众号的专栏培训:工业数据分析与实战.培训给出了一些实际的数据分析例子,包括"设备管理"."运作优化"和"营销服务" ...
- 工业数据分析技术与实战之数据分析的误区——昆仑数据田春华培训听课记录
昆仑数据田春华老师在微信公众号的专栏培训:工业数据分析与实战.培训给出了一些实际的数据分析例子,包括"设备管理"."运作优化"和"营销服务" ...
- 工业数据分析技术与实战之运作优化——昆仑数据田春华培训听课记录
昆仑数据田春华老师在微信公众号的专栏培训:工业数据分析与实战.培训给出了一些实际的数据分析例子,包括"设备管理"."运作优化"和"营销服务" ...
- 工业数据分析技术与实战之数据分析的挑战——昆仑数据田春华培训听课记录
昆仑数据田春华老师在微信公众号的专栏培训:工业数据分析与实战 视频链接 .培训给出了一些实际的数据分析例子,包括"设备管理"."运作优化"和"营销服务 ...
- 工业数据分析技术与实战之营销服务——昆仑数据田春华培训听课记录
昆仑数据田春华老师在微信公众号的专栏培训:工业数据分析与实战.培训给出了一些实际的数据分析例子,包括"设备管理"."运作优化"和"营销服务" ...
- clickhouse大数据分析技术与实战_比Hive快500倍！大数据实时分析领域的黑马
戳蓝字"小强的进阶之路"关注我们哦! 大数据实时分析领域的黑马是ClickHouse一个用于联机分析(OLAP)的列式数据库管理系统(DBMS). clickhouse背景 俄罗斯 ...
- 数据分析与挖掘实战-基于基站定位数据的商圈分析
基于基站定位数据的商圈分析 背景 随着个人手机终端的普及,出行群体中手机拥有率和使用率已经达到相当高的比例,手机移动网络也基本上实现了城乡空间区域的全覆盖.根据手机信号在真实地理空间上的覆盖情况,将手 ...
- clickhouse大数据分析技术与实战_从销售到经营——大客户销售策略与实战技术...
对于首席客户代表而言,要走出困局,所需要大客户销售策略性的训练,而不是像基层客户经理的销售技巧训练一样:新业务的学习固然重要,但更重要的是转化成实战绩效.从组织变革角度,每次成功的业务转型背后都意味着 ...
- 【大数据技术应用实战】【大数据与人工智能视角下数字孪生和元宇宙】二、新一轮大数据与人工智能变革
目录 一.数字孪生和元宇宙的量化特征 二.新一轮大数据与人工智能变革 三.元学习和机器自动建模新时代 过去的几轮:大数据与人工智能--小数据.大数据.深智能 在数字孪生和元宇宙中,形态从"明 ...
最新文章
- aspx页面使用ajax遇到try catch中使用Response.End()报错
- GARFIELD@12-10-2004
- LeetCode 225. Implement Stack using Queues--用队列实现栈--C++解法
- python中子类调用父类的初始化方法
- AS3.0中is,as运算符
- CAN 多于8字节的拆包组包协议
- 模拟http中需要注意到的headers字段
- 牛客练习赛46 C 华华跟奕奕玩游戏 （期望，概率）（详解）
- 三星android rom开发者,六年老机吃上奥利奥：第三方三星S2安卓8.0刷机包发布
- Java中Spring中的方法加上try catch后事务管理器失效无法回滚的情况
- Access denied for user 'root'@'192.168.64.154' (using password: YES)
- 用户界面草图设计工具-工具包和资源
- 56. Yii Modules
- 【SQL】用SQL语句表示同比和环比
- mariadb mysql.sock_数据库缺少mysql.sock文件的解决办法
- 基于Gamebuino设计的算盘小游戏
- 金融人都在选择的硕士项目---中国人民大学与加拿大女王大学金融硕士
- python tuple用处_Python入门之最少必要知识
- fusion 360调整字体大小
- 电脑版微信聊天记录和小程序视频播放黑屏，但有声音，qq和其浏览器视频播放正常。如何解决？