深度学习推荐模型-DeepCrossing

本文参考链接，仅供个人学习：https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel

相关学习书籍推荐：《深度学习推荐系统》王喆

一、Deep Crossing背景

2016年，微软提出Deep Crossing模型，旨在解决特征工程中特征组合的难题，降低人力特征组合的时间开销，通过模型自动学习特征的组合方式，也能达到不错的效果，且在各种任务中表现出较好的稳定性。与之前介绍的FNN、PNN不同的是，Deep Crossing并没有采用显式交叉特征的方式，而是利用残差网络结构挖掘特征间的关系。本文将对DeepCrossing从原理到实现细节进行详细分析。

DeepCrossing模型应用场景是微软搜索引擎Bing中的搜索广告推荐，用户在输入搜索词之后，搜索引擎除了返回相关结果，还返回与搜索词相关的广告，Deep Crossing的优化目标就是预测对于某一广告，用户是否会点击，依然是点击率预测的一个问题。

1. DeepCrossing模型结构及原理

为了完成端到端的训练， DeepCrossing模型要在内部网络结构中解决如下问题：

离散类特征编码后过于稀疏，不利于直接输入神经网络训练，需要解决稀疏特征向量稠密化的问题
如何解决特征自动交叉组合的问题
如何在输出层中达成问题设定的优化目标

DeepCrossing分别设置了不同神经网络层解决上述问题。

整个模型包含四种结构：Embedding，Stacking，Residual Unit，Scoring Layer。

下面对各层结构进行分析：

1.Embedding层：将稀疏的类别性特征转换成稠密的Embedding向量，以经典的全连接层结构为主。通常，Embedding向量的维度应该远小于原始稀疏特征向量。这里Feature #2世纪代表了数值型特征，可以看到，数值型特征不需要经过Embedding层，直接进入了Stacking层。

2.Stacking层：Stacking层（堆叠层）的作用比较简单，是把不同的Embedding特征和数值型特征拼接在一起，也被称为连接（concatenate）层。

3.Multiple Residual Units层：主要结构时多层感知机，相比标准的多层感知机为基本单元的神经网络，Deep Crossing模型采用了多层残差网络（Multi-Layer Residual Network）作为MLP的具体实现。通过多层残差网络对特征向量各个维度进行充分的交叉组合。

4.Scoring层：Scoring层作为输出层，就是为了拟合优化目标，对CTR预估这类二分类问题，Scoring层往往使用的是逻辑回归模型，对于图像等多分类问题，Scoring层往往采用softmax模型。

2.1 Embedding Layer

将稀疏的类别型特征转成稠密的Embedding向量，Embedding的维度会远小于原始的稀疏特征向量。 Embedding是NLP里面常用的一种技术，这里的Feature #1表示的类别特征(one-hot编码后的稀疏特征向量）， Feature #2是数值型特征，不用embedding，直接到了Stacking Layer。关于Embedding Layer的实现，往往一个全连接层即可，Tensorflow中有实现好的层可以直接用。和NLP里面的embedding技术异曲同工，比如Word2Vec，语言模型等。

2.2 Stacking Layer

这个层是把不同的Embedding特征和数值型特征拼接在一起，形成新的包含全部特征的特征向量，该层通常也称为连接层, 具体的实现如下，先将所有的数值特征拼接起来，然后将所有的Embedding拼接起来，最后将数值特征和Embedding特征拼接起来作为DNN的输入，这里TF是通过Concatnate层进行拼接。

#将所有的dense特征拼接到一起
dense_dnn_list = list(dense_input_dict.values())
dense_dnn_inputs = Concatenate(axis=1)(dense_dnn_list) # B x n (n表示数值特征的数量)# 因为需要将其与dense特征拼接到一起所以需要Flatten，不进行Flatten的Embedding层输出的维度为：Bx1xdim
sparse_dnn_list = concat_embedding_list(dnn_feature_columns, sparse_input_dict, embedding_layer_dict, flatten=True) sparse_dnn_inputs = Concatenate(axis=1)(sparse_dnn_list) # B x m*dim (n表示类别特征的数量，dim表示embedding的维度)# 将dense特征和Sparse特征拼接到一起
dnn_inputs = Concatenate(axis=1)([dense_dnn_inputs, sparse_dnn_inputs]) # B x (n + m*dim)

2.3 Multiple Residual Units Layer

该层的主要结构是MLP，但DeepCrossing采用了残差网络进行的连接。通过多层残差网络对特征向量各个维度充分的交叉组合，使得模型能够抓取更多的非线性特征和组合特征信息，增加模型的表达能力。残差网络结构如下图所示：

Deep Crossing模型使用稍微修改过的残差单元，它不使用卷积内核，改为了两层神经网络。我们可以看到，残差单元是通过两层ReLU变换再将原输入特征相加回来实现的。具体代码实现如下：

# DNN残差块的定义
class ResidualBlock(Layer):def __init__(self, units): # units表示的是DNN隐藏层神经元数量super(ResidualBlock, self).__init__()self.units = unitsdef build(self, input_shape):out_dim = input_shape[-1]self.dnn1 = Dense(self.units, activation='relu')self.dnn2 = Dense(out_dim, activation='relu') # 保证输入的维度和输出的维度一致才能进行残差连接def call(self, inputs):x = inputsx = self.dnn1(x)x = self.dnn2(x)x = Activation('relu')(x + inputs) # 残差操作return x

2.4 Scoring Layer

这个作为输出层，为了拟合优化目标存在。对于CTR预估二分类问题， Scoring往往采用逻辑回归，模型通过叠加多个残差块加深网络的深度，最后将结果转换成一个概率值输出。

# block_nums表示DNN残差块的数量
def get_dnn_logits(dnn_inputs, block_nums=3):dnn_out = dnn_inputsfor i in range(block_nums):dnn_out = ResidualBlock(64)(dnn_out)# 将dnn的输出转化成logitsdnn_logits = Dense(1, activation='sigmoid')(dnn_out)return dnn_logits总结

这就是DeepCrossing的结构了，比较清晰和简单，没有引入特殊的模型结构，只是常规的Embedding+多层神经网络。但这个网络模型的出现，有革命意义。DeepCrossing模型中没有任何人工特征工程的参与，只需要简单的特征处理，原始特征经Embedding Layer输入神经网络层，自主交叉和学习。相比于FM，FFM只具备二阶特征交叉能力的模型，DeepCrossing可以通过调整神经网络的深度进行特征之间的“深度交叉”，这也是Deep Crossing名称的由来。。

二、完整代码实战

import warnings
warnings.filterwarnings("ignore")
import itertools
import pandas as pd
import numpy as np
from tqdm import tqdm
from collections import namedtupleimport tensorflow as tf
from tensorflow import keras
from tensorflow.keras.layers import *
from tensorflow.keras.models import *from sklearn.model_selection import train_test_split
from sklearn.preprocessing import  MinMaxScaler, LabelEncoderfrom utils import SparseFeat, DenseFeat, VarLenSparseFeatdef data_process(data_df, dense_features, sparse_features):"""简单处理特征，包括填充缺失值，数值处理，类别编码param data_df: DataFrame格式的数据param dense_features: 数值特征名称列表param sparse_features: 类别特征名称列表"""data_df[dense_features] = data_df[dense_features].fillna(0.0)for f in dense_features:data_df[f] = data_df[f].apply(lambda x: np.log(x+1) if x > -1 else -1)data_df[sparse_features] = data_df[sparse_features].fillna("-1")for f in sparse_features:lbe = LabelEncoder()data_df[f] = lbe.fit_transform(data_df[f])return data_df[dense_features + sparse_features]def build_input_layers(feature_columns):"""构建输入层param feature_columns: 数据集中的所有特征对应的特征标记之"""# 构建Input层字典，并以dense和sparse两类字典的形式返回dense_input_dict, sparse_input_dict = {}, {}for fc in feature_columns:if isinstance(fc, SparseFeat):sparse_input_dict[fc.name] = Input(shape=(1, ), name=fc.name)elif isinstance(fc, DenseFeat):dense_input_dict[fc.name] = Input(shape=(fc.dimension, ), name=fc.name)return dense_input_dict, sparse_input_dictdef build_embedding_layers(feature_columns, input_layers_dict, is_linear):# 定义一个embedding层对应的字典embedding_layers_dict = dict()# 将特征中的sparse特征筛选出来sparse_feature_columns = list(filter(lambda x: isinstance(x, SparseFeat), feature_columns)) if feature_columns else []# 如果是用于线性部分的embedding层，其维度为1，否则维度就是自己定义的embedding维度if is_linear:for fc in sparse_feature_columns:embedding_layers_dict[fc.name] = Embedding(fc.vocabulary_size + 1, 1, name='1d_emb_' + fc.name)else:for fc in sparse_feature_columns:embedding_layers_dict[fc.name] = Embedding(fc.vocabulary_size + 1, fc.embedding_dim, name='kd_emb_' + fc.name)return embedding_layers_dict# 将所有的sparse特征embedding拼接
def concat_embedding_list(feature_columns, input_layer_dict, embedding_layer_dict, flatten=False):# 将sparse特征筛选出来sparse_feature_columns = list(filter(lambda x: isinstance(x, SparseFeat), feature_columns))embedding_list = []for fc in sparse_feature_columns:_input = input_layer_dict[fc.name] # 获取输入层 _embed = embedding_layer_dict[fc.name] # B x 1 x dim  获取对应的embedding层embed = _embed(_input) # B x dim  将input层输入到embedding层中# 是否需要flatten, 如果embedding列表最终是直接输入到Dense层中，需要进行Flatten，否则不需要if flatten:embed = Flatten()(embed)embedding_list.append(embed)return embedding_list # DNN残差块的定义
class ResidualBlock(Layer):def __init__(self, units): # units表示的是DNN隐藏层神经元数量super(ResidualBlock, self).__init__()self.units = unitsdef build(self, input_shape):out_dim = input_shape[-1]self.dnn1 = Dense(self.units, activation='relu')self.dnn2 = Dense(out_dim, activation='relu') # 保证输入的维度和输出的维度一致才能进行残差连接def call(self, inputs):x = inputsx = self.dnn1(x)x = self.dnn2(x)x = Activation('relu')(x + inputs) # 残差操作return x# block_nums表示DNN残差块的数量
def get_dnn_logits(dnn_inputs, block_nums=3):dnn_out = dnn_inputsfor i in range(block_nums):dnn_out = ResidualBlock(64)(dnn_out)# 将dnn的输出转化成logitsdnn_logits = Dense(1, activation='sigmoid')(dnn_out)return dnn_logitsdef DeepCrossing(dnn_feature_columns):# 构建输入层，即所有特征对应的Input()层，这里使用字典的形式返回，方便后续构建模型dense_input_dict, sparse_input_dict = build_input_layers(dnn_feature_columns)# 构建模型的输入层，模型的输入层不能是字典的形式，应该将字典的形式转换成列表的形式# 注意：这里实际的输入与Input()层的对应，是通过模型输入时候的字典数据的key与对应name的Input层input_layers = list(dense_input_dict.values()) + list(sparse_input_dict.values())# 构建维度为k的embedding层，这里使用字典的形式返回，方便后面搭建模型embedding_layer_dict = build_embedding_layers(dnn_feature_columns, sparse_input_dict, is_linear=False)#将所有的dense特征拼接到一起dense_dnn_list = list(dense_input_dict.values())dense_dnn_inputs = Concatenate(axis=1)(dense_dnn_list) # B x n (n表示数值特征的数量)# 因为需要将其与dense特征拼接到一起所以需要Flatten，不进行Flatten的Embedding层输出的维度为：Bx1xdimsparse_dnn_list = concat_embedding_list(dnn_feature_columns, sparse_input_dict, embedding_layer_dict, flatten=True) sparse_dnn_inputs = Concatenate(axis=1)(sparse_dnn_list) # B x m*dim (n表示类别特征的数量，dim表示embedding的维度)# 将dense特征和Sparse特征拼接到一起dnn_inputs = Concatenate(axis=1)([dense_dnn_inputs, sparse_dnn_inputs]) # B x (n + m*dim)# 输入到dnn中，需要提前定义需要几个残差块output_layer = get_dnn_logits(dnn_inputs, block_nums=3)model = Model(input_layers, output_layer)return modelif __name__ == "__main__":# 读取数据data = pd.read_csv('./data/criteo_sample.txt')# 划分dense和sparse特征columns = data.columns.valuesdense_features = [feat for feat in columns if 'I' in feat]sparse_features = [feat for feat in columns if 'C' in feat]# 简单的数据预处理train_data = data_process(data, dense_features, sparse_features)train_data['label'] = data['label']# 将特征做标记dnn_feature_columns = [SparseFeat(feat, vocabulary_size=data[feat].nunique(),embedding_dim=4)for feat in sparse_features] + [DenseFeat(feat, 1,)for feat in dense_features]# 构建DeepCrossing模型history = DeepCrossing(dnn_feature_columns)history.summary()history.compile(optimizer="adam", loss="binary_crossentropy", metrics=["binary_crossentropy", tf.keras.metrics.AUC(name='auc')])# 将输入数据转化成字典的形式输入train_model_input = {name: data[name] for name in dense_features + sparse_features}# 模型训练history.fit(train_model_input, train_data['label'].values,batch_size=64, epochs=5, validation_split=0.2, )