前言

目前研究的课题是业务流程预测和挖掘，但是由于当前领域的发展并没有像自然语言处理以及计算机视觉等领域发展迅速，因此就考虑是否能从前人的道路之上借鉴和发现一些能够用于时间序列和活动序列预测的任务上，加上导师最近推了几篇关于推荐模型的论文，追求能在推荐模型的基础上将有用的训练架构在流程预测上有所突破。

一、S3-Rec

Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization2020
传统的序列推荐模型方法是捕获用户的历史行为，使用RNNs、CNNs、self-attention这三种主流方法学习用户的偏爱和用户与商品交互的特点，后来就是在此基础上增加学习的知识来增强序列的表示。

1. 解决的问题
1）先前的方法过分依赖商品的预测损失来学习整个model，这种学习方法容易受数据集稀疏影响
2）过分强调最终的结果，但是呢又没有充分的捕捉到上下文数据和序列数据的联系和复杂程度

2. 模型架构
通过设置四个预训练任务，并设置不同的损失和优化函数，利用数据内部的相关性，进行无监督学习，注：由于推荐任务中的特征包含用户、商品、子序列和序列等，因此借助MIM思想，需要多个view共同表示序列，预训练之后学习到了数据的表示，模型的参数作为下游任务的初始化参数，然后再进行预测任务的训练，最终得到较好表现的模型。

3. 存在的问题
能否设计很好的预训练任务？
能否应用于更复杂的应用场景？

二、ProcessTransformer

Predictive Business Process Monitoring with Transformer Network2021

1. 解决的问题
1）先前的方法都是使用one-hot来编码离散的活动序列，整数表示忽略了事件之间的内在关系，并且由于数据维度的增加而引入了不切实际的计算需求。
2）LSTM不能复杂的建模较长的数据依赖关系
3）神经网络中的LSTM以及RNNs是顺序执行，不能并行化

2. 模型架构
从sttention机制的应用之后，Transformer应用到建模process序列，通过对数据简单的预处理，从而学习时序序列高级泛化的表示。与固定大小的循环记忆模型不同，自我注意机制允许访问序列中先前生成的事件的任何部分。它允许深层神经网络捕获输入和输出之间的全局依赖关系，以实现强大的通用表示学习。此外，ProcessTransformer可以有效区分影响模型预测的最相关特征

3. 存在的问题和前景
1）将学习到的特征表示应用到其他任务如跟踪检索、活动建议、过程结果预测等
2）评估ProcessTransformer事件日志不仅具有延长性而且在很大程度上具有唯一的流程活动空间

三、UPRec

User-Aware Pre-training for Recommender Systems2021

1. 解决的问题
1）神经网络、Transformer等主流框架这种监督学习模型过分依赖充分的用户训练数据，容易受数据稀疏影响
2）预训练应用在NLP中通常是为了学习通用的语言知识以及全局序列样式，忽视了捕捉每个用户的个性化兴趣

2. 模型架构
为了提高预训练模型，解决异构信息集成，设置预训练任务，利用相同的编码器将社交图和用户属性的符号空间与行为序列的语义空间对齐。提出了两个简单有效的预训练任务，一个是用户属性预测，行为序列可以反映不同用户的属性，需要模型预测给定用户表示的用户属性，有助于为模型注入属性信息；第二个是社会关系检测，引入社会关系图，使得社会关系用户之间表示相似，给定不同的用户，检测它们之间的社会关系。

3. 存在的问题和前景
在未来，我们将探索如何设计强大的培训前任务，以进一步利用更多的用户信息，包括他们发布的评论和其他行为。还值得探讨我们的模型在其他复杂推荐任务中的表现，例如下一个篮子推荐和点击率预测。

四、EFFICIENT MODEL OF SPARSE ATTENTION

LONG-TERM SERIES FORECASTING WITH QUERY SELECTOR – EFFICIENT MODEL OF SPARSE ATTENTION（时间序列预测，非推荐模型）

1. 解决的问题
1）寻找合适的通用算法方法来使用DL方法建模TSF有关的工作
2）处理特定DL模型的计算效率的工作（计算上的挑战）
3）informer为代表的Transformer架构，使用概率方法的一个主要缺点是很难在参数变化的情况下比较不同的实验
2. 模型架构

3. 存在的问题和前景

五、GAN-Transformer

Adversarial Sparse Transformer for Time Series Forecasting
1. 解决的问题
1）大多数点预测模型只预测每个时间步的精确值，缺乏灵活性，难以捕捉数据的随机性，受制于单个目标loss（非柔性目标）
2）大多采用自回归生成模式，即在训练过程中提供基本真理，在推理过程中由网络自身的一步超前输出代替，导致推理过程中的错误积累。因此，由于误差累积，他们可能无法预测较长时间范围内的时间序列。
2. 模型架构
本文提出了一种新的基于生成对抗网络（GANs）的时间序列预测模型——对抗稀疏变换（AST）。具体地说，AST采用稀疏变换器作为发生器来学习用于时间序列预测的稀疏注意图，并使用鉴别器在序列级改进预测性能。

总结

整理总结的一些关于业务流程挖掘以及推荐模型的相关论文，我们很有必要将预训练任务应用到业务流程预测上，实现初始参数的优化和最终准确率的新高，后续会继续补充相关领域的知识，感谢观看！

关于推荐模型的论文汇总相关推荐

性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
作者 | Chen Ma, Liheng Ma等译者 | Rachel 出品 | AI科技大本营(ID:rgznai100) 用户-商品交互的时间顺序可以揭示出推荐系统中用户行为随时间演进的序列性特 ...
【会话推荐】ICDM论文：探索跨会话信息感知的推荐模型
会话推荐是推荐领域的一个子分支, 美团平台增长技术部也在该领域不断地进行探索.不久前,该部门提出的跨会话信息感知的时间卷积神经网络模型CA-TCN被国际会议ICDM NeuRec Workshop ...
ICDM论文：探索跨会话信息感知的推荐模型
会话推荐是推荐领域的一个子分支, 美团平台增长技术部也在该领域不断地进行探索.不久前,该部门提出的跨会话信息感知的时间卷积神经网络模型CA-TCN被国际会议ICDM NeuRec Workshop ...
Google最新论文：大规模深度推荐模型的特征嵌入问题有解了！
转载自深度传送门(ID: gh_5faae7b50fc5) 导读:本文主要介绍下Google在大规模深度推荐模型上关于特征嵌入的最新论文. 一.背景大部分的深度学习模型主要包含如下的两大模块:输入模 ...
《预训练周刊》第16期：中科院推出全球首个图文音三模态预训练模型、顶会论文探索100层序列推荐模型的加速训练...
No.16 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第16期&l ...
扩散模型(Diffusion)最新综述+GitHub论文汇总-A Survey On Generative Diffusion
扩散模型(Diffusion Model)最新综述+GitHub论文汇总-A Survey On Generative Diffusion 本综述来自香港中文大学Pheng-Ann Heng.西湖大学 ...
论文解读：跨域推荐模型MiNet
论文下载代码下载论文解读:跨域推荐模型MiNet 一.跨域推荐基础概念 1.1.什么是跨域推荐 1.2.跨域推荐的优劣优势劣势二.背景三.模型设计 3.1.3种类型用户兴趣跨域长期兴趣( ...
RS笔记：深度推荐模型之多任务学习PLE模型 [RecSys 2020 最佳论文腾讯]
RS笔记:深度推荐模型之多任务学习ESMM模型(多目标优化模型,同时优化CTR和CVR) [SIGIR 2018 阿里妈妈] RS笔记:深度推荐模型之多任务学习MMoE模型 [KDD 2018 谷歌] ...
论文｜RecSys17-序列推荐模型 Translation-based Recommendation
转载请注明出处:https://blog.csdn.net/Gamer_gyt/article/details/95014206 博主微博:http://weibo.com/234654758 Git ...

关于推荐模型的论文汇总

推荐模型

文章目录

前言