实时机器学习是什么，面临哪些挑战？

最近能够随数据获取实时调整模型的实时机器学习，正在成为媒体技术领域的新“网红”。曾经连续两年，都被FTI评为传媒业的重要技术趋势之一，与自然语言理解NLU、机器阅读理解MRC、音视频算法等共享金字塔顶端的荣光。

那实时机器学习到底是什么呢？

　　在开启扒皮模式之前，我们先来了解一下，实时机器学习究竟在哪些地方比传统的机器学习更强？

　　传统的机器学习（ML）正在媒体领域得到越来越多的应用，利用算法实现内容的“个性化推荐”，已经成为主流媒体的标配。

　　但过去的算法，主要侧重于使用静态模型和历史数据进行训练并提供预测。比如用户在浏览网站时，可以根据用户历史行为数据来推送新闻。

　　而一些新的涉及动态实施决策的业务，比如具备时效性的热点新闻，或是用户想要看点新东西，这就需要用一种新的算法来实现，即实时机器学习Real-Time Machine Learning。

　　以头条的核心技术“个性化推荐算法”为例，其核心原理就是根据用户对文章的历史行为数据反馈，进行统计挖掘和判断。

　　比如具有相同偏好的三个用户，分别选择了自己喜欢的文章，得到最高票数的文章就会被推荐给被系统打上同一属性标签的第四个人……以此类推。

　　不难发现，传统机器学习算法的成功，依赖于对用户的“知根知底”，需要用户不断开放自己的私人领地。

　　而实时机器学习，更擅长对用户的当下需求体察入微，让用户在保持隐私安全感的同时，获得如沐春风的浏览体验。

显然，实时机器学习算法将主导一个令人期待的新世界，也有越来越多的媒体在为此做着准备。

实时机器学习技术的深入应用，将解锁很多超乎想象的媒体功能和应用场景。但是，尽管学界已经在算法上提出了几种理想的架构，但产业端却未迎来蓬勃的质变。这究竟是为什么？实时机器学习落地到底面临哪些挑战呢？

　　1. 高吞吐量与低延迟的平衡。

　　媒体平台的海量用户需求，决定了实时机器学习要在每秒处理数百万任务量级。以这样的速度进行大规模的信息分发，需要细致到毫秒级的任务执行能力。

　　2. 动态异构任务模块的高效唤醒。

　　对于Facebook这样体量庞大的平台来说，其服务是由成千上万个不同模块构建而成的，流量调节、图像转码、存储编码等等。在实时任务中，会伴随生成很多不同资源支持的新任务，增加系统的响应和处理难度。

　　如何对这些重要且不一样的特性进行预测，十分具有挑战性。

　　3. 实时算法与业务场景的融合。

　　实时响应和预测，意味着留给系统的容错空间更小。要保障这一技术在实际应用场景中的稳定性，就要在完成高吞吐量任务的同时，能够快速模拟真实世界的交互，然后精准地判断出，哪些是结果的决定性因素，从而做出正确的响应。

　　举个例子，如果想给用户推荐“哪些朋友赞过此贴”，实时算法会快速判断出“最近一次查看”这一数据集对完成该任务毫无意义，然后快速修改关联并重新学习。这种自适应调整，可以有效防止用户收到的结果中出现明显的错误点。

作者：脑极体

原文链接：https://www.kg.com/article/512402530874036224

转载于:https://www.cnblogs.com/space007/p/9962403.html

实时机器学习是什么，面临哪些挑战？相关推荐

文献学习(part49)--机器学习面临的挑战
学习笔记,仅供参考,有错必纠关键词:机器学习:深度学习:概率图模型:大数据:优化问题机器学习面临的挑战该文讨论了机器学习目前面临的几个挑战 , 包括 : 高维特征空间和数据量问题 ; 大数据量的 ...
机器大神 Michael Jordan 教授主题演讲：机器学习——创新视角，直面挑战》
2019独角兽企业重金招聘Python工程师标准>>> 说到人工智能,不得不提到一个关键词就是机器学习,机器学习领域的突破和爆发,使人工智能领域有了飞跃的发展.人工智能的时候会特别关 ...
2001～2020大数据行业怎么样？面临哪些挑战？解决了什么问题？
导读:2001-2020,21世纪的前20年已接近尾声,大数据从无到有,从火爆到被质疑.本文带你了解这20年里,大数据解决了哪些问题.面临着哪些挑战? 作者:阿尔伯特·比费特(Albert Bifet ...
【AI工程论文解读】03-DevOps for AI-人工智能应用开发面临的挑战
作者:王磊更多精彩分享,欢迎访问和关注:https://www.zhihu.com/people/wldandan DevOps(研发运营一体化):是 Development 和 Operation ...
《交易执行质量研究白皮书》下篇：执行所面临的挑战
<交易执行质量研究白皮书>下篇:执行所面临的挑战规章制度的变化.竞争.市场分割和其他因素促使买方和卖方公司实施分析系统以帮助他们提高交易质量并降低合规成本. 1 简介 <交易执行质 ...
【行业解读】大数据和物联网面临的挑战以及区块链解决方案
发表时间:2022年1月20日信息来源:bsvblockchain.org 大数据无处不在.但它的来源.有效性和可及性却并非如此.无论你是做合规性监测还是机器学习,输入垃圾产出也只能是垃圾. 大数据 ...
大数据可视化技术面临的挑战及应对措施
来源:科技导报本文约5400字,建议阅读10分钟本文介绍了适用于大数据的数据可视化技术,讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用. [ 导读 ]本文从大数 ...
科技城｜从专利布局看人工智能领域全球竞争与中国面临的挑战
来源:澎湃新闻作者:杜灵君(来自中国电子信息产业发展研究院) 近年来,随着人工智能技术的突破,人工智能产业爆发式增长.全球各个国家为了抢占产业发展和技术变革主导权,争相出台政策.资本.核心技术等战略 ...
深度研究 | 区块链在征信业的应用探讨：切中了痛点，但也面临四大挑战
深度研究 | 区块链在征信业的应用探讨:切中了痛点,但也面临四大挑战雷锋网按:本文由中国信息通信研究院和腾讯研究院区块链联合课题组的王强.卿苏德.巴洁如所作.转载自公众号腾讯研究院.雷锋网(公 ...

实时机器学习是什么，面临哪些挑战？

实时机器学习是什么，面临哪些挑战？相关推荐

最新文章

热门文章