1.1 搜索引擎怎么工作

google baidu ……

索引存在库中

蜘蛛爬取

对视频图像等——将图片变成数字，在对比。

多模态搜索

数据量大：批量召回（先构建索引）、粗排（TF-IDF、相似度筛选）、精排

TF:词频（文章信息的局部信息）

IDF:逆文本频率指数（系统的全局信息）

1.2 统计学让搜索速度起飞

把语言向量化

TF-IDF（它使用词语的重要程度与独特性来代表每篇文章，然后通过对比搜索词与代表的相似性，给你提供最相似的文章列表）

TF-IDF：不是神经网络或者深度学习，是基于统计学的方法，这种方法在文档量巨大时，搜索速度很快。

TF-IDF数学表达形式：向量

cos距离计算两个文章的夹角

1.2.1 TF-IDF的计算代码：

from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer()
tf_idf = vectorizer.fit_transform(docs)
print("idf: ", [(n, idf) for idf, n in zip(vectorizer.idf_, vectorizer.get_feature_names())])
print("v2i: ", vectorizer.vocabulary_)

计算夹角代码

q = "I get a coffee cup"
qtf_idf = vectorizer.transform([q])
res = cosine_similarity(tf_idf, qtf_idf)
res = res.ravel().argsort()[-3:]
print("\ntop 3 docs for '{}':\n{}".format(q, [docs[i] for i in res[::-1]]))

1.3 搜索的扩展

IDF带有某个领域的全局信息。如果恰好要做一个领域的搜索，又恰好有这个领域的IDF分布，就省去了很多数据收集的烦恼。

在机器学习中神经网络模型方面，迁移学习正好就是这个道理。

集群版搜索——ElasticSearch（BM25）

一个完整的搜索流程：

首先输入搜索问句，然后对其进行预处理，包括分词、敏感词过滤、纠错等等；再通过各种召回策略，比如TF-IDF、ElasticSearch召回等，得到候选答案；最后再做一些业务层面的过滤处理，才能得到你的搜索展示框的内容。

深度学习——NLP-1.搜索相关推荐

[旧文新读] 深度学习在Airbnb搜索的应用实践
作者 | Mr.张@知乎整理 | NewBeeNLP 这篇文章是airbnb团队在KDD2019上的一篇文章.在当时来看,GBDT的模型已经对他们的业务有了一定的贡献,这篇文章主要是在讲,该团队在尝 ...
GitHub上AI岗位面试笔记（机器学习算法/深度学习/ NLP/计算机视觉）
目录机器学习深度学习自然语言处理与数学算法题和笔试题推荐阅读工具最近在GitHub上淘到一个很棒的AI算法面试笔记,特地分享给小伙伴们~ GitHub地址:https://github. ...
保健中的深度学习nlp技术用于决策
介绍 (Introduction) The ubiquitous adoption of electronic health records in hospitals and other health ...
一文概述2017年深度学习NLP重大进展与趋势
本文,我将概述 2017 年深度学习技术在 NLP 领域带来的进步.可能会有遗漏,毕竟涵盖所有论文.框架和工具难度太大.我想和大家分享这一年我最喜欢的一些研究.我认为 2017 年是 NLP 领域的重 ...
使用深度学习和树搜索进行从零开始的既快又慢的学习
本文介绍了来自伦敦大学学院(UCL)Thomas Anthony.Zheng Tian 与 David Barber 的深度学习与树搜索研究.该论文已被 NIPS 2017 大会接收. 二元处理机制理 ...
[深度学习-NLP]什么是Self-attention, Muti-attention和Transformer
系列文章目录深度学习NLP(一)之Attention Model; 深度学习NLP(二)之Self-attention, Muti-attention和Transformer 深度学习NLP(三)之 ...
深度学习（1）---2017年深度学习NLP重大进展与趋势
深度学习(DL)架构和算法在图像识别.语音处理等领域实现了很大的进展.而深度学习在自然语言处理方面的表现最初并没有那么起眼,不过现在我们可以看到深度学习对 NLP 的贡献,在很多常见的 NLP 任务中 ...
【自然语言处理】一文概述2017年深度学习NLP重大进展与趋势
选自 tryolabs 机器之心编译参与:路雪.黄小天.蒋思源作者通过本文概述了 2017 年深度学习技术在 NLP 领域带来的进步,以及未来的发展趋势,并与大家分享了这一年中作者最喜欢的研究.2 ...
今日头条李航：深度学习NLP的现有优势与未来挑战
近日,AI 技术大牛李航博士(已加入今日头条)在<国家科学评论>(National Science Review,NSR)上发表了一篇题为<Deep Learning for Nat ...
【AI in 美团】深度学习在美团搜索广告排序的应用实践
转自:https://mp.weixin.qq.com/s/9Fcj5lO-JPfFVnRSSM_56w [AI in 美团]深度学习在美团搜索广告排序的应用实践 AI(人工智能)技术已经广泛应用于美 ...

深度学习——NLP-1.搜索

1.1 搜索引擎怎么工作

1.2 统计学让搜索速度起飞

1.2.1 TF-IDF的计算代码：

1.3 搜索的扩展

深度学习——NLP-1.搜索相关推荐

最新文章

热门文章