日志

最近公司要改变运营思路了，准备多往数据分析这方面发展，那我为了保住工作那必须得往这边补点知识点呀，结果一不小心，学错了，行吧，宝贵的摸鱼时间被我浪费了，笔记拿出来给大家看看吧。

笔记

数据分析与统计入门   → 基本概念及应用
1.数据分析与统计的基本定义
2.熟悉数据分析基本要素及实践准则
3.了解常见的数据源答：数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究
和概论总结的过程。这一过程也是质量管理系统体系的支持过程。在实用中，数据分析可帮助人们做出判断，以便采取适当行动答：
数据（data）是为了描述和解释所搜集，分析汇总的事实和数字。将用于特定研究而搜集的所有数据称为研究的数据集
个体（element）是指所收集数据的实体
变量（variable）是个体中所感兴趣的那些特征
观测值（observation）在一项研究中，对每一个个体的每一变量收集观测值，从而得到了数据，对一特定个体得到的测量值集合称为一个观测值答：常用的数据源： 公司企业应用数据 Google Trends  ||| Google Dataset Search数据处理经验   ！数据清洗：缺失值，异常值和重复值的处理
一。
数据列缺失的处理方法：能够自动处理缺失值的模型包括：KNN，决策树和随机森林，神经网络和朴素贝叶斯
手动：丢失：比例低于10%，缺失值没有明显的数据分布规律或特征补全：统计法，模型法，专家补全，其他方法真值转换：承认缺失值的存在，并且把数据缺少也作为数据分布规律的一部分
二。
不要轻易抛弃异常数据   伪异常  这些异常是由于业务特定运营动作产生，其实是正常反映业务状态真异常   异常数据本身是目标数据，如果被处理掉将丢失关键信息异常检测  客户异常识别，信用卡欺诈，贷款审批识别，药物变异识别，恶劣气象预测，网络入侵检测等
三。
数据重复就需要去重吗     若不去重 重复的记录用于分析演变规律数据处理经验   ！！样本类别不平衡
一般场景如下：
1.异常检测场景      例：黄牛订单  信用卡欺诈  电力且电
2.罕见事件分析      例：某网络大V无意中转发了一条微博导致用户流浪明显提升
3.客户流失场景      例：大型企业的流失客户，电信，石油，网络运营商
4.发生频率低的事件  例：事件是y预期或j计划性事件，但是发生频率的非常低
一般解决情况：
过抽样：增加分类中少数类样本的数量
欠抽样：减少分类中多数类样本的数量
样本权重：对于分类中不同样本数量的类别分别赋予不同的权重，然后进行计算和建模
组合/集成 ： 同时从分类中的大样本量中随机抽取数据来与小样本合并构成训练集，这样反复多次会得到很多训练集和训练模型
特征选择：解决样本不平衡数据处理经验          ！！！解决数据源的冲突
一般为以下四种冲突
类型冲突：   会员注册时间这一字段其存储格式含有日期和时间戳两种
结构冲突：   对于同一数据主体的描述结构有冲突
记录粒度不同：对于订单记录的粒度可以存在以订单ID为基础的一条数据中，此时多个商品同时存在商品项目列中。
值域与制不同：销售系统和库存系统所包含的订单状态有不同解决方法：
全局性的汇总统计：消除冲突并形成一份唯一的数据
数据用于数据建模：   不消除冲突也不做任何处理
整体的流程性统计分析： 不消除冲突但是是有全部的冲突数据数据处理经验           ！！！！数据的共线性

兄弟们，这波是我上当了相关推荐

Spring Boot：（四）开发Web应用之JSP篇
Spring Boot:(四)开发Web应用之JSP篇前言上一篇介绍了Spring Boot中使用Thymeleaf模板引擎,今天来介绍一下如何使用SpringBoot官方不推荐的jsp,虽然难度 ...
Spring Boot（20）---开发Web应用之JSP篇
Spring Boot(20)---开发Web应用之JSP篇前言上一篇介绍了Spring Boot中使用Thymeleaf模板引擎,今天来介绍一下如何使用SpringBoot官方不推荐的jsp,虽 ...
清华孵化、张钹加盟、天使估值5个亿，创业半年的RealAI什么来头？
郭一璞发自凹非寺量子位报道 | 公众号 QbitAI 今天,又一家清华孵化的人工智能公司RealAI(瑞莱智慧)浮出水面: 张钹院士出任首席顾问,多位清华AI博士发起创立.号称要解决当前主流 ...
数据版“吐槽大会”: 国产综艺节目年终盘点
前言 2018刚刚翻篇,每个人在2018都会留下许多难忘的回忆,有欢笑,有泪水,亦有成长.2018年诞生了许多的国产综艺节目,随着各大视频网站对自制综艺节目不断加大投入,我们有幸看到了更加多元化的综艺 ...
数据版吐槽大会：盘点2018国产综艺节目
导读:2018刚刚翻篇,每个人在2018都会留下许多难忘的回忆,有欢笑,有泪水,亦有成长.2018年诞生了许多的国产综艺节目,随着各大视频网站对自制综艺节目不断加大投入,我们有幸看到了更加多元化的综艺 ...
程序员版“吐槽大会”：国产综艺节目年终盘点
作者 | 徐麟责编 | 胡巍巍前言 2018刚刚翻篇,每个人在2018都会留下许多难忘的回忆,有欢笑,有泪水,亦有成长.2018年诞生了许多的国产综艺节目,随着各大视频网站对自制综艺节目不断加大投 ...
用Python吐槽国产综艺节目！
♚ 作者:徐麟,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据. 前言 2018刚刚翻篇,每个人在2018都会留下许 ...
张一鸣“神隐”130天
在张一鸣宣布辞任CEO的130天里,字节跳动历经了新业务收缩.全员调薪.取消大小周.裁员等众多变化,摆在前台的掌舵人已然更换为了梁汝波.虽然和员工们的期待完全不同,但不可否认,字节跳动这列曾经飞速行驶 ...
一次p3故障总结（沟通及流程篇）
这几天组内接连发生一个p0故障,一个p3故障. p0就是上一篇波哥说的那个ETCD扩容导致整个业务不可用,我在产房门口坐地上处理的那次. 今天又发生了一次p3级别故障. 起因是研发侧同学说一台机器时不 ...

兄弟们，这波是我上当了

日志

笔记

兄弟们，这波是我上当了相关推荐

最新文章

热门文章