赛道 B:信息流智能推荐算法中的序列评估问题

随着互联网信息的蓬勃发展,用户在使用互联网应用时面临着信息过载的问题。推荐算法的出现,满足了用户个性化的内容消费需求,  提升了用户获取有用信息的效率,在互联网 APP 里已被广泛应用。信息流作为推荐算法的主要应用场景,是用户触达互联网信息的主要入口,已经完全融入了人们的日常生活中,成为了人们了解世界的主要方式。

图 1 为信息流产品示例。该示例中,用户在执行刷新操作后,推荐系统返回了 K 条推荐结果,构成了一个推荐序列。其中前 4 条推荐内容占满了一个手机屏幕,用户继续下滑可浏览剩余内容。一个推荐  序列由多种内容类型构成,例如,内容 1 为图文内容,内容 4 为视频内容。需要说明的是,推荐系统每次返回的内容条数 K 可以是不固定的,系统可以根据用户的具体请求环境进行动态调整,以此得到最佳  的用户浏览体验,如何确定 K 的大小在本题目中不做讨论。

图 1 信息流产品示例

传统推荐算法的核心思想是挖掘被推荐内容与用户兴趣的匹配 关系,以及内容本身的优质程度,选择与用户最相关或者最优质的内容推荐给用户。如图 2 中(a)所示,推荐系统会对单条候选内容进行打分评估,通过内容是否匹配用户兴趣以及内容质量的高低,来预估给用户推荐这条内容后带来的综合收益大小(综合收益通常包含用户是否会点击这条内容,以及用户在这条内容上的浏览时长)。系统 打出的分值则是对每条内容带来的综合收益大小的刻画。然后,系统选择出预估分值最大的 K 条内容,并按照分值从大到小的顺序推荐给用户。这种推荐方式我们称之为 point wise。

但是,研究发现,除了内容本身因素以外,内容之间的排列组合关系,也会影响用户的浏览体验,进而影响推荐收益的大小。例如, 相似内容的高度集中,往往会带来较差的结果反馈,即使它们都高度匹配用户兴趣或者具有较高的内容质量。于是,越来越多的研究集中在如何选择最优的内容排列组合上,而不仅仅是最优的内容上。如图 2 中(b)所示,同样的 ABC 三条内容,按照不同的顺序(A→B→C、A→C→B、……)推荐给用户,会带来不一样的收益大小。推荐系统需要先根据候选内容生成候选推荐序列,然后对每一个候选序列进行打分评估,系统打出的分值则是对每个序列带来的整体综合收益大小的刻画。最后,系统选择出预估分值最高的一个序列,按照该序列的排列顺序将内容推荐给用户。这种推荐方式我们称之为 list wise。本题目要求参赛者设计数学模型对给定的候选序列进行序列整体收益评估。

图 2 单内容评估和序列评估

题目提供近一周时间内用户在信息流产品上的曝光历史

(train_data.txt)作为训练集,以供参赛者进行建模分析。附件中 的 train_data.样例.txt 给出了数据格式示例,方便参赛者查看。涉及字段包括:

1. 用户 ID:用户唯一标识,例如 1000024368;

2.请求 ID : 用户单次请求推荐服务的唯一标识,例如

500012184_1635188998881_5305;

3.日期:用户单次请求推荐服务的日期,例如 20211026;

4.时间:用户单次请求推荐服务的时间,例如 22(代表晚上 22

点);

5.推荐序列:用户单次请求推荐服务,推荐服务返回的内容列表。内容的排列顺序即为内容的真实推荐顺序,多个内容之间用“;”分隔,单个内容包括三个字段:内容 ID、用户是否点击

(0 代表未点击,1 代表点击)、用户浏览时长(单位为秒),

多 个 字 段 之 间 用 “ : ” 分 隔 。 例 133672454001:0:0;508896132:1:111;508969800:0:0;50887

0333:1:10;

同时,题目提供内容的基础属性(doc_info.txt)。附件中的 doc_info.样例.txt 给出了数据格式示例。涉及字段包括:

1. 内容 ID:内容的唯一标识,例如 133342615958;

2.内容类型:推荐内容分为视频(video)和图文(news)两种类型;

3.内容类别:内容的一二级分类,例如综艺/内地综艺;

最后,题目提供在训练集时间之后的一部分用户推荐序列作为测试集(test_data.txt),附件中的 test_data.样例.txt 给出了数据格式示例。参赛者需要根据训练集数据预测测试集序列的收益大小。 涉及字段包括:

1. 请求 ID : 用户单次请求推荐服务的唯一标识,例如 500012184_1635188998881_5305;

2. 用户 ID:用户唯一标识,例如 1000024368;

3.日期:用户单次请求推荐服务的日期,例如 20211026;

4.时间:用户单次请求推荐服务的时间,例如 22(代表晚上 22点);

5.推荐序列:用户单次请求推荐服务,推荐服务返回的内容列表。内容的排列顺序即为内容的真实推荐顺序,多个内容之间用“ ;” 分 隔 , 单 个 内 容 只 提 供 内 容 ID , 例 如

508681374;133681260394;508767175;508767175;

上 述 完 整 数 据 集 通 过下方链接进行下载获取。

https://pan.yidian-inc.com/index.php/s/QB7lhh7YPKLJWfLhttps://pan.yidian-inc.com/index.php/s/QB7lhh7YPKLJWfL

请参赛者对上述数据进行分析并建立模型,解决以下问题。参赛者需要将最终解决方案以论文方式进行详细阐述,包括主要模型、算法和计算结果, 并以单独文件提交问题 2 的预测结果到竞赛系统中,不改变文件的格式。

问题 1:建立评估推荐序列总点击收益(序列中单条内容的点击量之和)和总时长收益(序列中单条内容的浏览时长之和)的数学模 型,以及如何根据点击收益和时长收益对综合收益进行量化。不同于 评估单个推荐内容收益的数学模型,在序列评估模型设计中,需要详 细阐述如何考虑不同排列组合对收益大小的影响。

问题 2:基于问题 1 设计的数学模型,预测测试集(test_data.txt)中推荐序列的总点击量和总时长(单位为秒), 将预测结果写入 result.csv 并提交。文件包含三列:请求 ID、总点击量、总浏览时 长。请求 ID 对应测试集中的请求 ID,总点击量和总浏览时长为预估出的测试集中每个请求 ID 对应推荐序列的点击量和时长之和。附件result.csv 中已给出的总点击量和总时长为随机生成的示例数据, 参赛者需要将其替换为自己预测的总点击量和总时长值再提交。

问题 3:假设有 N 条候选内容,从中选择长度为 K(N≥K)的最优推荐序列,需要参与收益评估的序列量为A" 。在真实推荐场景中, 由于计算性能的考虑,系统无法对所有可能序列进行收益评估,往往需要先采用计算复杂度更低的方式对序列集合进行剪枝,圈定出少量 候选序列进行精确收益评估。而剪枝策略的目标是保证候选序列集更 大可能包含最优序列。请详细阐述你的建模思路,以及剪枝策略的精 准度和时间复杂度。

2021 年 MathorCup 高校数学建模挑战赛——大数据竞赛B题相关推荐

  1. 2021年MathorCup高校数学建模挑战赛—大数据竞赛A题二手车估价问题解题思路

    MathorCup高校数学建模挑战赛-大数据竞赛 A题 二手车估价问题 原题再现:   随着我国的机动车数量不断增长,人均保有量也随之增加,机动车以"二手车"形式在流通环节,包括二 ...

  2. 2021年MathorCup高校数学建模挑战赛——大数据竞赛A题

    赛道 A:二手车估价问题 随着我国的机动车数量不断增长,人均保有量也随之增加,机动 车以"二手车"形式在流通环节,包括二手车收车.二手车拍卖.二手 车零售.二手车置换等环节的流通需 ...

  3. 2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛(baseline)

    教育部<高等学校人工智能创新行动计划>教技[2018]3号,鼓励对计算机专业类的智能科学与技术.数据科学与大数据技术等专业进行调整和整合,鼓励各个领域与大数据进行深度融合,通过大数据技术促 ...

  4. MathorCup高校数学建模挑战赛——大数据竞赛 赛道A 移动通信基站流量预测baseline

    文章目录 前言 一.简单分析 二.具体程序 1.引入库 2.读入数据 3.数据处理 4.模型训练和预测 5.结果文件输出 总结 前言 本文给出2020年MathorCup高校数学建模挑战赛--大数据竞 ...

  5. 2022 年 MathorCup 高校数学建模挑战赛——大数据竞赛(北京移动用户体验影响因素研究全套代码)

    赛道 B:北京移动用户体验影响因素研究      移动通信技术飞速发展,给人们带来了极大便利,人们也越来越离不开移动通信技术带来的各种便捷.随着网络不断的建设,网络覆盖越来越完善.各个移动运营商,越来 ...

  6. 2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛

    关注我后续分享更多数学建模思路~

  7. 第三届2022MathorCup高校数学建模挑战赛大数据论文加代码(附详解)

    基于系统决策树分类的移动用户体验影响因素研究 摘要 本题主要是一个研究预测模型,以中国移动通信集团北京公司为背景,让客户根据 自身在网络覆盖与信号强度方面的体验和语音通话过程中的整体体验来进行语音通话 ...

  8. 2021年MathorCup高校数学建模挑战赛b题:三维团簇的能量预测(三等)

    微信公众号:数学建模与人工智能 https://github.com/QInzhengk/Math-Model-and-Machine-Learning 三维团簇的能量预测 摘要 一.问题重述 1 二 ...

  9. 2021年MathorCup高校数学建模挑战赛B题三维团簇的能量预测解题全过程文档加程序

    2021年第十一届MathorCup高校数学建模 B题 三维团簇的能量预测 原题再现 原题再现   团簇,也称超细小簇,属纳米材料的尺度概念.团簇是由几个乃至上千个原子.分子或离子通过物理或化学结合力 ...

最新文章

  1. Java基础之this关键字的作用
  2. mysql怎么用_面试官都是这样发问的,连环冲锋炮,看你怎么抵挡(上)
  3. 音视频技术开发周刊 81期
  4. 计算机系统结构——概述
  5. 单链表式并查集应用举例
  6. centos php支持yaf,CentOS环境下给PHP7.0安装yaf扩展
  7. android 输入法文本选择功能,Android的文本和输入---创建输入法(一)
  8. 工作381-兼容移动端头部
  9. rhel7.5安装mysql8.0教程_RHEL7.5下mysql 8.0.11安装教程
  10. WWDC2019最值得看的十个视频
  11. java gui 数独_数独-GUI开发
  12. 单片机- >网络模块(WIFI or 4G)->logstash->kafka->写入服务->es->grafana
  13. ElasticSearch三种分页方式以及各优缺点(一文知道如何抉择)
  14. 教皇修改之后丢失的十天
  15. Windows下SVN修改已经提交的日志
  16. 留美学子安全手册,这个可以有
  17. 费雪信息 (Fisher information)
  18. 解决微信小程序调试进入 paused in debugger 状态解决办法
  19. 视频教程-2019年人工智能热门案例精讲之P图美化照片-深度学习
  20. 美国访问学者签证材料清单

热门文章

  1. 谷歌浏览器怎么调试js
  2. xdoj 1202 The Offer - Lunatic
  3. 我的学习node.js心得(一)
  4. 小米note刷android8.1,【Android 8.1.0】RR-O For Xiaomi Mi Note Pro(小米Note顶配版)
  5. 【DeepLab v1 2016】SEMANTIC IMAGE SEGMENTATION WITH DEEP CON- VOLUTIONAL NETS AND FULLY CONNECTED CRFS
  6. 大家一起来找茬(BUG)
  7. 放弃文华财经,自己编程实现期货程序化交易
  8. Hystrix熔断器的理解
  9. 如何用vscode调试ts代码
  10. tarjan算法求SCC,e-DCC,v-DCC