机器学习建模案例-人力资源分析

目的是什么：任务的目标是建立一个模型，该模型经过训练后能够预测参加某公司培训的人结束培训后寻找新工作的可能性。
数据在哪儿：该数据集包含参与培训的人的个人信息，包括性别、居住城市、目前在职的公司情况和学历等等特征。最重要的，包含最终是否寻找新工作，也就是拥有标签。
要达到的标准：这是一个典型的分类问题，我们将使用不同的分类器，让评价指标来告诉我们哪个是最合适的模型。

点此跳转Github查看数据集及代码

1. 处理数据,数据清洗

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
os.chdir(r'……')
data_train=pd.read_csv('aug_train.csv')
print(data_train.shape)
data_train.head()

结果如下：

# 这个数据集有很多NaN值，先统计各字段的缺失率
data_train.apply(lambda x: sum(x.isnull())/len(x),axis=0)

特征 enrollee_id：候选人的唯一ID city：城市代码 city_ development _index：城市发展指数 gender：候选人性别 relevent_experience：候选人是否有相关经验 enrolled_university：已注册的大学课程类型 education_level：候选人的教育程度 major_discipline：候选人的专业 experience：候选人的工作年限 company_size：当前雇主公司中的雇员人数 company_type：当前雇主公司的类型 lastnewjob：当前雇主公司的工作年限 training_hours：培训时间时长

data_train=data_train.fillna('no')
data_train['company_size'] = data_train['company_size'].replace('10/49', '10-49')

2. 描述性统计&可视化

用tableau进行数据探索，见下图

import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns
import plotly.express as px
%matplotlib inline
fig = px.pie(data_train['target'].value_counts(), values='target', names = data_train['target'].value_counts().index,title = 'target',template='ggplot2')
fig.show()

从上面的饼图不难看出，这个训练集的标签数量是不平衡的，记住这个结论。

3. 建立模型(scikit-learn)

3.1 处理非数值的特征

# 用 preprocessing.OrdinalEncoder 将分类特征转换为分类数值
from sklearn.preprocessing import OrdinalEncoder
Ordinal_encoder = OrdinalEncoder([['no','Male','Female','Other']['no','no_enrollment','Full time course','Part time course'],['no', 'Primary School',  'High School', 'Graduate', 'Masters', 'Phd'],'no,<1,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,>20'.split(','),['STEM','no','Humanities','Other','Business Degree','Arts','No Major'],['no','<10', '10-49', '50-99', '100-500', '500-999' ,'1000-4999', '5000-9999', '10000+'],['no','Pvt Ltd','Funded Startup','Public Sector','Early Stage Startup','NGO','Other'],['no','1', '2', '3', '4', '>4', 'never']
])data_train_ordinal = data_train[['gender','enrolled_university','education_level', 'experience', 'major_discipline','company_size','company_type', 'last_new_job']]
data_train_ordinalEncoded = Ordinal_encoder.fit_transform(data_train_ordinal)

3.2 数据集划分

from sklearn.model_selection import train_test_split
#提取特征数据和目标数据
X=data_train_ordinalEncoded
y=data_train['target']
#划分数据集
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3)

3.3 用不同分类器建立模型

from sklearn.linear_model import LogisticRegression #逻辑回归
from sklearn.tree import DecisionTreeClassifier #决策树
from sklearn.ensemble import GradientBoostingClassifier #梯度提升决策树
from sklearn.ensemble import RandomForestClassifier # 随机森林
estimators = {'Logistic Regression': [LogisticRegression()],'Decision Tree' :[DecisionTreeClassifier()],'Gradient Boost' :[GradientBoostingClassifier()],'Random Forest' :[RandomForestClassifier()]}
def mfit(estimators, X_train, y_train):for m in estimators:estimators[m][0].fit(X_train, y_train)print(m+' fitted')mfit(estimators, X_train, y_train)

3.4 预测

from sklearn.metrics import confusion_matrix, classification_report, plot_roc_curve, roc_auc_score, roc_curve
def mpredict(estimators, X_test, y_test):outcome = dict()r_a_score = dict()for m in estimators:y_pred = estimators[m][0].predict(X_test)r_a_score[m] = roc_auc_score(y_test, y_pred)outcome[m] = [y_pred, confusion_matrix(y_pred,y_test), classification_report(y_pred,y_test)]return outcome, r_a_scoreoutcome, r_a_score = mpredict(estimators, X_test, y_test)
for m in outcome:print('------------------------'+m+'------------------------')print(outcome[m][1])print(outcome[m][2])

3.5 评价

下面要看看各分类器的ROC曲线比较

fig, ax = plt.subplots()
fig.set_size_inches(13,6)
for m in estimators:y_pred = estimators[m][0].predict_proba(X_test)fpr, tpr, _ = roc_curve(y_test, y_pred[:,1].ravel())plt.plot(fpr,tpr, label=m)
plt.xlabel('False-Positive rate')
plt.ylabel('True-Positive rate')
plt.legend()
plt.show()

不出所料，GDBT-也就是绿线代表的模型最优！