概述

数据标准化主要是应对特征向量中数据很分散的情况, 防止小数据被大数据 (绝对值) 吞并的情况. 另外, 数据标准化也有加速训练, 防止梯度爆炸的作用.

标准化

标准化常用的方法是 z-score 标准化. 经过处理后的数据均值为 0, 标准差为 1. 处理方法是:

μ: 样本的均值
σ: 样本的标准差

简单说一下 sklearn 的标准化. 没有接触过机器学习的同志们我建议你们先去看机器学习的内容, 专栏链接:
https://blog.csdn.net/weixin_46274168/category_10621044.html

例子:

In [2]: import numpy as npIn [3]: X_train = np.array([[ 1., -1.,  2.],[ 2.,  0.,  0.],[ 0.,  1., -1.]])In [4]: from sklearn.preprocessing import StandardScalerIn [5]: std = StandardScaler()In [6]: X_train_std = std.fit_transform(X_train)In [7]: X_train_std
Out[7]:
array([[ 0.        , -1.22474487,  1.33630621],[ 1.22474487,  0.        , -0.26726124],[-1.22474487,  1.22474487, -1.06904497]])

方法一

# 方法一
def stand(factor):"""数据标准化"""mean = factor.mean()std = factor.std()return (factor - mean) / std# 筛选条件
q = query(fundamentals.eod_derivative_indicator.pe_ratio
)# 获取数据
fund = get_fundamentals(q, entry_date="20200102").iloc[:, 0, :]# 标准化处理
fund["pe_ratio_fixed"] = stand(fund["pe_ratio"])# 画图
plt.style.use('fivethirtyeight')
f, ax = plt.subplots(1,2,figsize=(20,8))
ax[0].bar(fund.index[:500],fund['pe_ratio'][:500], color="red")
ax[1].bar(fund.index[:500],fund['pe_ratio_fixed'][:500])# 设置x轴
ax[0].set_xticks(fund.index[:501:100])
ax[1].set_xticks(fund.index[:501:100])# 设置标题
ax[0].set_title("origional")
ax[1].set_title("standard")plt.show()

输出结果:

方法二

def mad(factor):"""3倍中位数去极值"""# 求出因子值的中位数median = np.median(factor)# 求出因子值与中位数的差值, 进行绝对值mad = np.median(abs(factor - median))# 定义几倍的中位数上下限high = median + (3 * 1.4826 * mad)low = median - (3 * 1.4826 * mad)# 替换上下限factor = np.where(factor > high, high, factor)factor = np.where(factor < low, low, factor)return factor# 筛选条件
q = query(fundamentals.eod_derivative_indicator.pe_ratio
)
# 获取数据
fund = get_fundamentals(q, entry_date="20200102").iloc[:, 0, :]# 中位数绝对偏差法
fund["pe_ratio_fixed"] = mad(fund["pe_ratio"])# 画图
plt.figure(figsize=(15, 10))
plt.bar(fund.index[:500],fund['pe_ratio'][:500], color="green")
plt.bar(fund.index[:500],fund['pe_ratio_fixed'][:500])
plt.xticks(fund.index[:501:50])
plt.title("pe_ratio vs pe_ratio_fixed")
plt.show()

输出结果:

注: 两种方法并没有本质上的区别.

量化交易第十一课因子数据处理之标准化相关推荐

量化交易第十课因子数据处理之去极值
第十课因子数据处理之去极值概述因子 Panel 结构分析截面数据序列数据因子去极值分位数去极值中位数四分位数百分位数原理分析代码实现中位数绝对偏差去极值计算方法代码实现 ...
量化交易第十二课因子数据处理之市值中性化
第十二课因子数据处理之市值中性化概述市值影响怎么去除市值影响回归法简介流程分析代码实现概述众所周知, 行业和市值是两个十分显著对因子有影响力的因素. 在进行截面回归判断每个单因子的 ...
量化交易实战第九课多因子相关性分析
量化交易实战第九课多因子相关性分析概述研报分析结果代码实现导包总资产回报率 IC 资本回报率 IC 计算相关性概述相关性 (Correlation) 在统计中是与独立性 (Indep ...
量化交易实战第一课策略入门
量化交易实战第一课策略入门概述要求指标市净率股票市值代码实现概述不管是技术分析还是基本面分析, 我们在进行投资的时候会选择某些表现好的股票来作为一个股票池. 从中进行交易的判断 ( ...
量化交易实战第二课金融时间序列分析 Part 1
量化交易实战第一课金融时间序列分析 Part 1 概述平台获取股票数据需求函数 index_components - 获取指数成分股列表 get_price - 合约历史数据代码统计分 ...
量化交易聚宽多因子策略（市值, ROE）
量化交易聚宽多因子策略(市值, ROE) # 导入函数库 from jqdata import *# 初始化函数,设定基准等等 def initialize(context):# 设定沪深300作 ...
量化交易米筐单因子有效性分析
单因子有效性分析–因子收益率分析因子收益率分析需要确定因子在不同股票位置上的表现,比如我们知道市值因子是越小越好.那么这个结果怎么来的? 1.什么是因子收益率因子收益率是在固定周期内对因子因子暴 ...
Python量化交易05——基于多因子选择和选股策略(随机森林，LGBM)
参考书目:深入浅出Python量化交易实战在机器学习里面的X叫做特征变量,在统计学里面叫做协变量也叫自变量,在量化投资里面则叫做因子,所谓多因子就是有很多的特征变量. 本次带来的就是多因子模型,并且 ...
量化交易初级阶段——简单多因子策略实现指数增强
多因子策略是量化交易之中最为常见的策略之一,相当于技术指标之中的均线,只要是学量化都会学到多因子策略. 多因子的总体思路很像高考.现在高考也是刚刚结束,也祝愿各位考生金榜题名!我就按照高考的思路简单说 ...

量化交易第十一课因子数据处理之标准化

第十一课因子数据处理之标准化

概述

标准化

方法一

方法二

量化交易第十一课因子数据处理之标准化相关推荐

最新文章

热门文章

量化交易 第十一课 因子数据处理之标准化

第十一课 因子数据处理之标准化

概述

标准化

方法一

方法二

量化交易 第十一课 因子数据处理之标准化相关推荐

最新文章

热门文章

量化交易第十一课因子数据处理之标准化

第十一课因子数据处理之标准化

量化交易第十一课因子数据处理之标准化相关推荐