Part 1 数据集和数据字典

数据集包含某银行信用卡部门4月至6月违约信息，人口信息，信用额度，还款状况，还款金额，历史账单，任务是用模型预测用户的违约情况。(https://www.kaggle.com/uciml/default-of-credit-card-clients-dataset)

ID: 客户ID

LIMIT_BAL: 额度

SEX: 性别(1=male, 2=female)

EDUCATION: (1=graduate school, 2=university, 3=high school, 4=others, 5=unknown, 6=unknown)

MARRIAGE: 婚姻状况 (1=married, 2=single, 3=others)

AGE: 年龄

PAY_0: 还款状态 - 9月份(-1=pay duly按时, 1=逾期1个月, 2=逾期2个月, … 8=逾期8个月, 9=逾期9个月以上)

...

BILL_AMT1: 账单金额 - 9 月份

...

PAY_AMT1: 还款金额 - 9月份

...

default.payment.next.month: 下月是否违约 (1=yes, 0=no)

使用分类模型预测下月是否违约

哪个特征对于分类器的影响因素更大

Part 2 数据获取

查看数据集

这次的数据集共有30000行客户的还款记录

特征值有25列，包含有关于客户的基本信息，每月的还款记录，以及需要我们预测的目标-是否违约

# read the data

df = pd.read_csv('UCL_Credit_Card.csv')

# glimpse at the data

df.head()

df.info()

data.info() output

Part 3 数据清洗

检查数据(缺失，异常)

缺失值处理 暂时无缺失值

编码异常 由原题意中判断个别有编码异常：

- EDUCATION 教育背景一栏代表的信息中4为'others',5和6却为'unknown'. 将他们统一归为4 'others'

- MARRIAGE 婚姻状况一栏中也一样出现了0为'unknown',3为'others'。统一归为3 'others'

命名不规范 对列名重新命名，[default.payment.next.month] >>> [def_pay]， [pay_0] >>>[pay_1]

# relabel EDUCATION information

fil = (data.EDUCATION == 5) | (data.EDUCATION == 6) | (data.EDUCATION == 0)

data.loc[fil, 'EDUCATION'] = 4

# relabel MARRIAGE information

data.loc[data.MARRIAGE == 0, 'MARRIAGE'] = 3

# rename column

data = data.rename(columns={'default.payment.next.month':'def_pay','pay_0':'pay1'})

Part 4 数据探索

查看类别型变量的分布

数据集中包含的女性客户(2)比男性客户(1)多

客户受教育程度较高，多为研究院(1)和大学学历(2)

违约数据存在不平衡，与现实状况相仿，存在违约行为的客户少于按时还款人数

catogorical feature distribution

查看连续型变量分布

绝大多数的授信额度都在100000以内，其中授信额度为50000的人数最多

如果以违约划分的话，授信额度高的客户违约也相对较多，主要的违约还是集中在50000的额度周围

discrete feature distribution

用户特征

教育程度较高的客户年龄更低，研究院、大学背景的用户平均年龄在35岁左右

已婚客户的年龄大于单身客户，平均年龄在40岁左右

用户特征

授信额度和用户特征

对于年轻客户群体的授信额度低于总体水平，可能是考虑到收入相对也要低于中年客户

受教育程度越高的客户额度授信也会更高

已婚客户的额度授信更高

授信对比 (年龄、教育、婚姻).jpg

Part 5 训练模型

这部分主要通过代码块来展示训练的过程，大致步骤包含：

导包，设置参数

设定目标值和特征值

拆分数据，训练集和验证集

将训练数据导入模型

用模型计算预测值

# ***********************load packages***********************

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import roc_auc_score

# ***********************set parameters***************************

RFC_METRIC = 'gini' #metric used for RandomForrestClassifier

NUM_ESTIMATORS = 100 #number of estimators used for RandomForrestClassifier

NO_JOBS = 4 #number of parallel jobs used for RandomForrestClassifier

RANDOM_STATE = 2018

VALID_SIZE = 0.20 # simple validation using train_test_split

# *********************define target and predictors*********************

target = 'def_pay'

predictors = [ 'LIMIT_BAL', 'SEX', 'EDUCATION', 'MARRIAGE', 'AGE',

'PAY_1', 'PAY_2', 'PAY_3', 'PAY_4', 'PAY_5', 'PAY_6',

'BILL_AMT1','BILL_AMT2', 'BILL_AMT3', 'BILL_AMT4', 'BILL_AMT5', 'BILL_AMT6',

'PAY_AMT1', 'PAY_AMT2', 'PAY_AMT3', 'PAY_AMT4', 'PAY_AMT5', 'PAY_AMT6']

# ***********************train test split***********************

train_df, val_df = train_test_split(data, test_size=VALID_SIZE, random_state=RANDOM_STATE, shuffle=True )

# ***********************calling the model with pre-fix parameter***********************

clf = RandomForestClassifier(n_jobs=NO_JOBS,

random_state=RANDOM_STATE,

criterion=RFC_METRIC,

n_estimators=NUM_ESTIMATORS,

verbose=False)

# ****************fitting the model***********************

clf.fit(train_df[predictors], train_df[target].values)

# ***********************predict the value in test set******************

preds = clf.predict(val_df[predictors])

Part 6 模型评估

# ****************display ROC-AUC score**************

roc_auc_score(val_df[target].values, preds) # 0.661340

# ****************plot the features importance**************

tmp = pd.DataFrame({'Feature': predictors, 'Feature importance': clf.feature_importances_})

tmp = tmp.sort_values(by='Feature importance',ascending=False)

plt.figure(figsize = (7,4))

plt.title('Features importance',fontsize=14)

s = sns.barplot(x='Feature',y='Feature importance',data=tmp)

s.set_xticklabels(s.get_xticklabels(),rotation=90)

plt.show()

features importance

在随机森林模型中， 对于模型分类影响最大的前几个因素依次为：

最近一次的还款情况 (PAY_1)

年龄 (AGE)

最近一次的账单 (BILL_AMT1)

授信额度 (LIMIT_BAL)

试用XGBoost重复模型训练

import xgboost as xgb

MAX_ROUNDS = 1000 #lgb iterations

EARLY_STOP = 50 #lgb early stop

OPT_ROUNDS = 1000 #To be adjusted based on best validation rounds

VERBOSE_EVAL = 50 #Print out metric result

# Prepare the train and valid datasets

dtrain = xgb.DMatrix(train_df[predictors], train_df[target].values)

dvalid = xgb.DMatrix(val_df[predictors], val_df[target].values)

#What to monitor (in this case, **train** and **valid**)

watchlist = [(dtrain, 'train'), (dvalid, 'valid')]

# Set xgboost parameters

params = {}

params['objective'] = 'binary:logistic'

params['eta'] = 0.039

params['silent'] = True

params['max_depth'] = 2

params['subsample'] = 0.8

params['colsample_bytree'] = 0.9

params['eval_metric'] = 'auc'

params['random_state'] = RANDOM_STATE

model = xgb.train(params,

dtrain,

MAX_ROUNDS,

watchlist,

early_stopping_rounds=EARLY_STOP,

maximize=True,

verbose_eval=VERBOSE_EVAL)

The best validation score (ROC-AUC) was 0.78, for round 453.