知识追踪入门系列-论文资料汇总

Paper ：知识追踪相关论文

下载论文和代码见reference第一个链接

Deep Knowledge Tracing:

首次提出将RNN用于知识追踪，并能够基于复杂的知识联系进行建模（如构建知识图谱）

Deep Knowledge Tracing and Dynamic Student Classification for Knowledge Tracing（DKT-DSC）

跟第一篇论文比较相似，都用到了 LSTM，不同的是这篇论文还考虑了将学生进行分类，在进行预测的时候也有不同，

How Deep is Knowledge Tracing

探究DKT利用到的统计规律并拓展BKT，从而使BKT拥有能够与DKT相匹配的能力

Going Deeper with Deep Knowledge Tracing

对DKT和PFA，BKT进行了模型比较，对DKT模型能碾压其他两种模型的结果进行了怀疑并加以论证，进一步讨论了原论文能够得出上述结果的原因，对进一步使用DKT模型提供了参考。

Incorporating Rich Features Into Deep Knowledge Tracing

对DKT使用上进行数据层扩展，扩展学生和问题层的数据输入，包括结合自动编码器对输入进行转换

Addressing Two Problems in Deep Knowledge Tracing viaPrediction-Consistent Regularization

指出DKT模型现存缺点：对输入序列存在重构问题和预测结果的波动性，进而对上述问题提出了改善方法

Exercise-Enhanced Sequential Modeling for Student Performance Prediction

将题面信息引入，不仅作为输入送入模型，而且将题目编码后的向量计算cosine相似度作为atention的socre

A Self-Attentive model for Knowledge Tracing 使用Transformer应用于知识追踪
《Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing》

使用传统的机器学习方法 FM 进行知识追踪，想法很独特，发表于 AAAI-2019

《Dynamic Key-Value Memory Networks for Knowledge Tracing》

使用键值对记忆网络进行知识追踪，重点学习记忆网络是如何动态更新的

《Knowledge Tracing with Sequential Key-Value Memory Networks》使用了改进过的LSTM 和记忆网络进行知识追踪

Graphic neural network for knowledge tracing 该论文首次将图神经网络应用于知识追踪，

reference：https://github.com/sulingling123/Knowledge_Tracing

论文阅读笔记 https://sulingling123.github.io/2019/08/06/深度知识追踪/

未完待续。。。。。。

有关DKT实现找到了pytorch版本的具体实现

模型代码已经发布在github上，可点击这里查看和下载具体代码。

或者可以直接通过如下命令直接下载到本地：

git clone https://github.com/chsong513/DeepKnowledgeTracing-DKT-Pytorch.git

具体运行和使用方法参考GitHub项目上ReadMe。

项目结构-DKT

在DKT文件夹下包括两个文件夹：KTDataset和KnowledgeTracing。

数据集-KTDataset

KTDataset文件夹下有6个常用的知识追踪数据集，数据都已经处理成三行格式：

第一行：答题数
第二行：题目编号
第三行：答题结果，0表示错，1表示对

举例：

Note：可根据需要，按照数据格式自行添加新的数据集。

模型结构-KnowledgeTracing

模型的整个流程都在KnowledgeTracing目录下，包括模型、参数设置、数据处理、模型训练和评估，分别在四个子目录下：model， Constant，data，evaluation。

参数设置-Constant

Constant下主要设置一些参数和超参数，超参数也分为四大块：数据集存储路径、数据集、题目数、模型超参数。

数据集存储路径

1	Dpath = '../../KTDataset'

数据集：一共包括6个数据集

datasets = {'assist2009' : 'assist2009','assist2015' : 'assist2015','assist2017' : 'assist2017','static2011' : 'static2011','kddcup2010' : 'kddcup2010','synthetic' : 'synthetic'
}

题目数：表示每个数据集里面题目的数量

numbers = {'assist2009' : 124,  'assist2015' : 100,'assist2017' : 102,'static2011' : 1224, 'kddcup2010' : 661,  'synthetic' : 50
}

模型超参数：主要包括所用数据集、输入输出维度、学习率、最大步长、学习周期等。

DATASET = datasets['static2011']
NUM_OF_QUESTIONS = numbers['static2011']
# the max step of RNN model
MAX_STEP = 50
BATCH_SIZE = 64
LR = 0.002
EPOCH = 1000
#input dimension
INPUT = NUM_OF_QUESTIONS * 2
# embedding dimension
EMBED = NUM_OF_QUESTIONS
# hidden layer dimension
HIDDEN = 200
# nums of hidden layers
LAYERS = 1
# output dimension
OUTPUT = NUM_OF_QUESTIONS

模型实现-model

模型在model目录下的RNNModel.py文件中实现，模型实际上就是一个简单的LSTM网络，其结构跟DKT原文中所讲述的结构一致，在LSTM模型最后添加了一个线性层和一个sigmoid激活函数。

class DKT(nn.Module):def __init__(self, input_dim, hidden_dim, layer_dim, output_dim):super(DKT, self).__init__()self.hidden_dim = hidden_dimself.layer_dim = layer_dimself.output_dim = output_dimself.rnn = nn.RNN(input_dim, hidden_dim, layer_dim, batch_first=True,nonlinearity='tanh')self.fc = nn.Linear(self.hidden_dim, self.output_dim)self.sig = nn.Sigmoid()def forward(self, x):h0 = Variable(torch.zeros(self.layer_dim, x.size(0), self.hidden_dim))out,hn = self.rnn(x, h0)res = self.sig(self.fc(out))return res

数据处理-data

在data目录下包括三个文件：readdata.py、DKTDataSet.py、dataloader.py。它们的作用分别是定义数据的读取、pytorch框架下的数据集定义、以及pytorch框架下的dataloader的构造。

readata: 在readata.py文件中，定义了一个类：DataReader，从名字可以看出这是一个用来读取数据的类。其中包含两个函数getTrainData()和getTestData()，分别是用来读取训练数据和测试数据。两个函数的定义其实一模一样，只是名字不一样用来区分训练和测试数据，这样的写法有些冗余，后面会再做一些优化。

class DataReader():def __init__(self, path, maxstep, numofques):self.path = pathself.maxstep = maxstepself.numofques = numofquesdef getTrainData(self):...def getTestData(self):...