小鱼儿的菜鸟笔记一 相关分析方法
【2018-2-28下午】
相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素的相关密切程度。相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。
相关分析（Analysis of Correlation）是通过对不同特征或数据间的关系进行分析，发现业务运营中的关键影响及驱动因素,并对业务的发展进行预测。相关关系不等于因果关系。
方法一：将数据进行可视化处理，简单的说就是绘制图表。对于有明显时间维度的数据，我们选择使用双坐标轴折线图。
通过折线图可以发现，费用成本和广告曝光量两组数据的变化和趋势大致相同，从整体的大趋势来看，费用成本和广告曝光量两组数据都呈现增长趋势。从规律性来看费用成本和广告曝光量数据每次的最低点都出现在同一天。从细节来看，两组数据的短期趋势的变化也基本一致。
比折线图更直观的是散点图。散点图去除了时间维度的影响，只关注广告曝光量和费用成本这里两组数据间的关系。在绘制散点图之前，我们将费用成本标识为X，也就是自变量，将广告曝光量标识为y，也就是因变量。从数据点的分布情况可以发现，自变量x和因变量y有着相同的变化趋势，当费用成本的增加后，广告曝光量也随之增加。
方法二：协方差 通过具体数字来度量两组或两组以上数据间的相关关系
协方差用来衡量两个变量的总体误差，如果两个变量的变化趋势一致，协方差就是正值，说明两个变量正相关。如果两个变量的变化趋势相反，协方差就是负值，说明两个变量负相关。如果两个变量相互独立，那么协方差就是0，说明两个变量不相关。（也可用Excel的covar函数）以下是协方差的计算公式：
当我们面对多个变量时，无法通过协方差来说明那两组数据的相关性最高。要衡量和对比相关性的密切程度，就需要使用下一个方法：相关系数。
方法三：相关系数
是反应变量之间关系密切程度的统计指标，相关系数的取值区间在1到-1之间。1表示两个变量完全线性相关，-1表示两个变量完全负相关，0表示两个变量不相关。数据越趋近于0表示相关关系越弱。以下是相关系数的计算公式。（用Excel中的correl函数）
其中表示样本相关系数，表示样本协方差，表示X的样本标准差，表示y的样本标准差。下面分别是协方差、和标准差的计算公式。由于是样本协方差和样本标准差，因此分母使用的是n-1。
方法四：回归分析
是确定两组或两组以上变量间关系的统计方法。回归分析按照变量的数量分为一元回归和多元回归。两个变量使用一元回归，两个以上变量使用多元回归。进行回归分析之前第一确定变量的数量，第二确定自变量和因变量。
一元回归方程：
其中 为方程的截距，为斜率，也表示了两变量间的关系
目标：和的值，从而预测因变量y 的值
最小二乘法计算斜率的值：
截距计算公式：
用Excel数据分析功能自动实现计算，点击 数据-数据分析-回归-x/y值的范围。
Intercept为的值，2.27为的值。
R Square为判定系数，用来度量回归方程的拟合优度，其值越大，说明回归方程越有意义，即自变量对因变量的解释度越高。
获得这个方程还有一个更简单的方法，就是在Excel中对自变量x和因变量y生成散点图，然后选择添加趋势线，在添加趋势线的菜单中选中显示公式和显示R平方值即可。
方法五：信息熵与互信息。（待掌握）
实际工作中影响最终效果的因素可能有很多，并且不一定都是数值形式。比如我们站在更高的维度来看之前的数据。广告曝光量只是一个过程指标，最终要分析和关注的是用户是否购买的状态。而影响这个结果的因素也不仅仅是消费成本或其他数值化指标。可能是一些特征值。例如用户所在的城市，用户的性别，年龄区间分布，以及是否第一次到访网站等等。这些都不能通过数字进行度量。
度量这些文本特征值之间相关关系的方法就是互信息。通过这种方法我们可以发现哪一类特征与最终的结果关系密切。下面是我们模拟的一些用户特征和数据。在这些数据中我们忽略之前的消费成本和广告曝光量数据，只关注特征与状态的关系。
对于信息熵和互信息具体的计算过程请参考文章《决策树分类和预测算法的原理及实现》，这里直接给出每个特征的互信息值以及排名结果。经过计算城市与购买状态的相关性最高，所在城市为北京的用户购买率较高。
参考资料：http://bluewhale.cc/2016-06-30/analysis-of-correlation.html
小鱼儿的菜鸟笔记一 相关分析方法相关推荐
- 小鱼儿的菜鸟笔记三 原来Excel图表可以这么做——花样制作Excel条形图/柱状图/环形图/折线图
[2018-3-1下午] 本文包含特色条形图.瀑布柱状图.双曲线起伏对比折线图.双系列单峰柱状图.双向对比条形图.灰背景条形图.环形图做法 作图小图片下载链接:https://pan.baidu.co ...
- 小甲鱼Python学习笔记之魔法方法
什么是魔法方法 构造和析构 __init__方法 __new__方法 __del__方法 工厂函数 通过对魔法方法的重写,还可以自定义对象间的算术运算 反运算方法 实现一个计时器的类 time模块的l ...
- 如何打造高颜值PPT——小鱼儿何艳老师ppt课－课堂笔记
今天参加了小鱼儿网何艳老师的ppt课程,受益匪浅. 非常感谢老师的分享. 一.必要性 工作汇报.项目竞标.产品发布.论文答辩.简历制作等都是ppt可能用到的场景. 二.可看性 对我们表达观点有帮助,像 ...
- 深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类 深度学习笔记(二):简单神经网络,后向传播算法及实现 深度学习笔记(三):激活函数和损失函数 深度学习笔记:优化方法总结 深度学习笔记(四):循环神经 ...
- php入门公开课,【PHP公开课|送你一篇有关laravel入门教程的php菜鸟笔记】- 环球网校...
[摘要]PHP作为一种超文本预处理器,已经成为了我们常用的网站编程语言,并且结合了C语言,Java等我们常见的编程语言,所以,有很多web开发领域的新人都看中了他的使用广泛性,有很多人都想了解php的 ...
- 零基础转行Web前端开发自学靠谱吗？菜鸟学习前端的方法分享
Web 前端开发行业长期处于供不应求的状态,薪资待遇也随之水涨船高,因此吸引了不少零基础转业者.那么,可能会有人问了:零基础转行Web 前端开发自学靠谱吗?这个问题没有确切的答案,毕竟每个人的情况都不 ...
- 微信小程序-跟学笔记
这里是小程序的简单笔记[啥也不懂] 2021/1/7-9/基础篇 第一章 开发流程:申请账号 完善信息 提交代码 审核发布 申请小程序账号的地址:mp.weixin.qq.com 开发者工具 下载 设 ...
- 基于Unity的2D小游戏 SpeedDown 开发笔记（学习bilibili@[M_Studio]的教学视频
基于Unity的2D小游戏 SpeedDown 开发笔记(学习bilibili@M_Studio的教学视频) 主要内容:在Sunnyland游戏的设计基础上,新增了物理组件Joint系列.DrawGi ...
- es6 去掉空格_微信小程序自动去除input空格的方法
当用户输入账号或者密码的时候,可能会有输入空格的情况,但是实际需要是不能够有空格的,所以我们要做一个去除空格,并且适应所有input的name参数的方法,下面请看源码: wxml: js: verif ...
最新文章
- 融合基础设施会给私有云带来什么？
- amoeba高可用mysql_amoeba for mysql 使用说明
- h5封装去底部_干货分享 | 一步一步教你在SpringBoot中集成微信支付H5支付
- Ubuntu开发之旅一---安装初步
- 测试常用工具下载地址，LR11、QC11
- hdoj1789：Doing Homework again （贪心）
- SpringBoot—自定义线程池及并发定时任务模板
- 鸿蒙os智能座舱,华为智能座舱的野心：HiCar上车，为鸿蒙OS铺路
- 【源码小记】jQueryの事件绑定
- c运算符优先级_C运算符
- 另存为fdf或xps加载项_2007 Microsoft Office加载项：Microsoft另存为PDF或XPS
- app抓包工具_安卓APP逆向入门分析——破解某APP登陆请求参数
- 用ftp上传服务器文件大小,ftp服务器上传文件大小
- 《这样思考，人生就不一样》/《思考的整理学》 博客思听 2010年1月
- win7重装系统后计算机打不开,win7系统重装后进不了系统怎么办
- Element ui 修改 ＜el-collapse 的 ＜el-collapse-item 标题字体大小
- 跌宕七十年，日本制造业兴衰「启示录」
- axure android尺寸,移动应用界面设计的尺寸设置及规范
- C#快速随机按行读取大型文本文件 - 磊的博客 - sanshi_leilei - 和讯博客
- Python自动化办公太难？学这些就够用了