特征选择算法在微博业务应用中的演进历程

近年来，人工智能与机器学习的应用越来越广泛，尤其是在互联网领域。在微博，机器学习被广泛地应用于微博的各个业务，如Feed流、热门微博、消息推送、反垃圾、内容推荐等。

值得注意的是，深度学习作为人工智能和机器学习的分支，尤其得到更多的重视与应用。深度学习与众不同的特性之一，在于其能够对原始特征进行更高层次的抽象和提取，进而生成区分度更高、相关性更好的特征集合，因此深度学习算法还经常被叫作“自动特征提取算法”。由此可见，无论是传统的基础算法，还是时下最流行的深度学习，特征的选择与提取，对于模型最终的预测性能至关重要。另一方面，优选的特征集合相比原始特征集合，只需更少的数据量即可得到同样性能的模型，从系统的角度看，特征选择对机器学习执行性能的优化具有重大意义。

特征选择在微博经历了从最原始的人工选择，到半自动特征选择，到全自动特征选择的过程，如图1所示。我们将详细介绍微博在各个阶段的实践与心得。

图1 特征选择在微博的演进

人工选择

在互联网领域，点击率预估（Click Through Rate）被广泛地应用于各个业务场景，在微博，CTR预估被应用在各个业务的互动率预估中。对于CTR预估的实现，逻辑回归（Logistic Regression）是应用最多、最广泛而且被认为是最有效的算法之一。LR算法的优势在于提供非线性的同时，保留了原始特征的可解释性。LR模型产出后，算法人

特征选择算法在微博业务应用中的演进历程相关推荐

业务实战中经典算法的应用
有网友提问:各种机器学习算法的应用场景分别是什么(比如朴素贝叶斯.决策树.K 近邻.SVM.逻辑回归最大熵模型)? 这些在一般工作中分别用到的频率多大?一般用途是什么?需要注意什么? 根据问题,核心关 ...
Feature Selection: A Data Perspective --阅读笔记2 传统数据的特征选择算法
论文的前一部分 FEATURE SELECTION ON CONVENTIONAL DATA Similarity based Methods Laplacian Score SPEC FEATURE ...
文本特征选择 java代码_文本分类入门（十）特征选择算法之开方检验
前文提到过,除了分类算法以外,为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种,这次 ...
浅谈关于特征选择算法与Relief的实现
一. 背景 1) 问题在机器学习的实际应用中,特征数量可能较多,其中可能存在不相关的特征,特征之间也可能存在相关性,容易导致如下的后果: 1. 特征个数越多,分析特征.训练模型所需的时间就越 ...
文本分类入门（十）特征选择算法之开方检验
前文提到过,除了分类算法以外,为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种,这次 ...
python分类时特征选择_关于python：是否有可用于分类数据输入的特征选择算法？...
我正在训练一个具有10个左右分类输入的神经网络. 在对这些分类输入进行一次热编码之后,我最终将大约500个输入馈入网络. 我希望能够确定我每个分类输入的重要性. Scikit-learn具有许多功能重 ...
QoS服务质量二令牌桶算法及QoS业务分类
QoS服务质量二令牌桶算法及QoS业务分类 2.3.3.DiffServ模型令牌桶算法 2.3.4.基于DiffServ模型的QoS组成 2.3.3.DiffServ模型令牌桶算法令牌桶算法是网络流 ...
大数据新算法在个人信用风险评估模型中使用效果的评估
风控系统资料 https://www.jianshu.com/p/db2aece905a7 基于大数据和机器学习的Web异常参数检测系统Demo实现 https://www.freebuf.com/a ...
如何在业务开发中实现自我成长
笔者按悟已往之不谏,知来者之可追. 从初入职场到现在,已经两年有余,看起来还是前途有限.后患无穷.写罢此文,聊以自慰,勉过往而励将来. 长久以来,我一直在思考两件事情:怎么把过往的经历抽象成可复用的 ...

特征选择算法在微博业务应用中的演进历程

人工选择

特征选择算法在微博业务应用中的演进历程相关推荐

最新文章

热门文章