OneHotEncoder

1、独热编码的优点

能处理非连续型数值特征
在一定程度上扩充了特征。如性别，经过one hot编码后，变成了男或女两个特征。

2、独热编码原理

使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值对用欧式空间的某个点。

将离散型特征使用One-hot编码，可以让特征之间的距离计算更加合理。我们常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。

如，有一个离散型特征，代表工作类型，该离散型特征共有三个取值，不使用one-hot编码，其表示分别是：

x_1=(1),x_2=(2)，x_3=(3)。

两个工作之间的距离是：

（x_1,x_2）=1,d(x_2,x_3)=1，d(x_1,x_3)=2.

那么x_1和x_3工作之间就越不相似吗？显然这样的表示，计算出来的特征的距离是不合理的。

如果使用one-hot编码，则得到：

x_1=(1,0,0），x_2=（0,1,0），x_3=(0,0,1)

那么两个工作之间的距离都是sqrt(2)。即每两个工作之间的距离都是一样的，显得更合理。

3、sklearn中的one-hot

代码示例：

import numpy as np
from sklearn.preprocessing import OneHotEncoderenc=OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])print('enc.n_values_ is :',enc.n_values_)
print('enc.feature_indices_ is:',enc.feature_indices_)
print(enc.transform([[0,1,1]]).toarray())运行结果：
enc.n_values_ is: [2 3 4]
enc.feature_indices_ is: [0 2 5 9]
[[ 1.  0.  0.  1.  0.  0.  1.  0.  0.]]

代码解释：

为OneHotEncoder类传递进来的数据集：

[[0,0,3],
[1,1,0],
[0,2,1],
[1,0,2]]

对象enc的n_values_成员变量，记录着每一个属性的最大取值数目，如本例第一个属性：0, 1, 0, 1 ⇒ 2，0, 1, 2, 0 ⇒ 3，3, 0, 1, 2 ⇒ 4；
即各个属性（feature）在 one hot 编码下占据的位数；
对象 enc 的 feature_indices_，则记录着属性在新 One hot 编码下的索引位置

feature_indices_ 是对 n_values_ 的累积值，不过 feature_indices 的首位是 0；

进一步通过 fit 好的 one hot encoder 对新来的特征向量进行编码：

>>> enc.transform([[0, 1, 1]]).toarray()
array([[ 1.,  0.,  0.,  1.,  0.,  0.,  1.,  0.,  0.]])

前 2 位 1, 0，对 0 进行编码
中间 3 位 0, 1, 0 对 1 进行编码；
末尾 4 位 0, 1, 0, 0 对 1 进行编码；

OneHotEncoder相关推荐

对python 数据处理中的LabelEncoder 和 OneHotEncoder详解
对python 数据处理中的LabelEncoder 和 OneHotEncoder详解_起飞的木木的博客-CSDN博客_labelencoder原理
OneHotEncoder独热编码和 LabelEncoder标签编码——机器学习
学习sklearn和kagggle时遇到的问题,什么是独热编码?为什么要用独热编码?什么情况下可以用独热编码?以及和其他几种编码方式的区别. 首先了解机器学习中的特征类别:连续型特征和离散型特征拿到 ...
数据预处理之独热编码（OneHotEncoder）
前言 ---------------------------------------- 在机器学习算法中,我们经常会遇到分类特征,例如:人的性别有男女,祖国有中国,美国,法国等. 这些特征值并不是连续 ...
数据预处理之将类别数据数字化的方法 —— LabelEncoder VS OneHotEncoder
LabelEncoder 和 OneHotEncoder 是什么在数据处理过程中,我们有时需要对不连续的数字或者文本进行数字化处理. 在使用 Python 进行数据处理时,用 encoder 来转化 ...
python labelencoder参数_对python 数据处理中的LabelEncoder 和 OneHotEncoder详解
python 怎么读取 Label 里面的值 #简单来说 LabelEncoder 是对不连续的数字或者文本进行编号 from sklearn.preprocessing import LabelEn ...
pandas 下的 one hot encoder 及 pd.get_dummies() 与 sklearn.preprocessing 下的 OneHotEncoder 的区别
sklearn.preprocessing 下除了提供 OneHotEncoder 还提供 LabelEncoder(简单地将 categorical labels 转换为不同的数字): 1. 简单区 ...
sklearn preprocessing 数据预处理（OneHotEncoder）
0. StandardScaler 去均值时,在测试集上进行预测时减去的均值是训练集上得到的均值: import sklearn.preprocessing as prepdef standard_s ...
字符编码OneHotEncoder
写在前边:查看编码前的原始数据,可以用inverse_transform()方法 sklearn.preprocessing.OneHotEncoder 方法 fit(self, X[, y]) Fi ...
OneHotEncoder独热编码
首先了解机器学习中的特征类别:连续型特征和离散型特征. 拿到获取的原始特征,必须对每一特征分别进行归一化,比如,特征A的取值范围是[-1000,1000],特征B的取值范围是[-1,1].如果使用lo ...
独热编码（OneHotEncoder）和标签编码（LabelEncoder）
数据分类我们在构建模型对数据进行训练之前,需要对数据进行特征工程,我们的数据可以分为连续型和离散型. 对于连续型数据,我们一般的做法是对其进行标准化或者归一化,之前写过一篇标准化和归一化的介绍,大家 ...

OneHotEncoder

1、独热编码的优点

2、独热编码原理

3、sklearn中的one-hot

OneHotEncoder相关推荐

最新文章

热门文章