【第一次参加kaggle比赛记录-Quora Insincere Questions Classification】- Word Embedding

In summary, word embeddings are a representation of the *semantics* of a word, efficiently encoding semantic information that might be relevant to the task at hand.

1. word embedding在干什么？
word embedding 主要解决怎么把词传递给计算机的问题。
把词的字母的ASCAII码做输入？
用one-hot编码输入？
都不行，不仅因为这样会把数据变得很大，更重要的是这样完全舍弃了词之间的联系。例如：数学家，物理学家，他们都是一种身份，而且通常做主语。
word embedding就是解决这个问题
“It is a technique to combat the sparsity of linguistic data, by connecting the dots between what we have seen and what we haven’t. This example of course relies on a fundamental linguistic assumption: that words appearing in similar contexts are related to each other semantically. This is called the distributional hypothesis.”
把词转换成一个个向量，并且这个向量要满足一定的条件：
相似的词对应的向量也要相似

2. word embedding怎么实现的？
以数学家和物理学家为例，他们有一定的相似性。比如我们看三条性质：可以跑，喜欢咖啡，主修物理。然后每个性质给一定的值，像下面的图：

他们在可以跑，喜欢咖啡，数值接近，但是主修物理差异大。
那如果我们定义两个词的相似度为：

这个值如果两个向量一样的话，值为1，如果相反，值为-1.

可是，除了这三条性质，我们还可以想到很多条其他性质来描述一个词，那这些性质到底赋值多少呢？
让人去给每个词每个性质打分是很难的。于是求助于深度学习。
我们用深度学习模型的权重来代替人的打分。
这个权重在深度学习模型训练的过程中会迭代更新。
“Central to the idea of deep learning is that the neural network learns representations of the features, rather than requiring the programmer to design them herself. So why not just let the word embeddings be parameters in our model, and then be updated during training? This is exactly what we will do. We will have some latent semantic attributes that the network can, in principle, learn. Note that the word embeddings will probably not be interpretable.”

https://pytorch.org/tutorials/beginner/nlp/word_embeddings_tutorial.html#sphx-glr-beginner-nlp-word-embeddings-tutorial-py

【第一次参加kaggle比赛记录-Quora Insincere Questions Classification】- Word Embedding相关推荐

第一次参加kaggle比赛的一些收获与心得，记录一下
#摘要虽然陆陆续续接触过深度学习的一些相关知识,但是从来没有系统地学习和总结过.加上之前研究的领域是SLAM(实时建图和定位),没有很好的机会直接应用深度学习技术,实践深度学习的机会也比较少.近段时 ...
R使用LSTM模型构建深度学习文本分类模型（Quora Insincere Questions Classification）
R使用LSTM模型构建深度学习文本分类模型(Quora Insincere Questions Classification) Long Short Term 网络-- 一般就叫做 LSTM --是一 ...
Quora Insincere Questions Classification 文本分类归纳
文章目录 [1st place 解决方案](https://www.kaggle.com/c/quora-insincere-questions-classification/discussion/8 ...
第一次参加Kaggle拿银总结
转载:http://scarletpan.github.io/summary-of-get-a-silver-medal-in-kaggle/ 在这篇博客开始之前,我必须感谢@Prof. Cai给我提 ...
参加kaggle比赛
我参加Kaggle比赛的体会转载于:https://www.cnblogs.com/think90/p/5813786.html
第一次参加DC比赛总结
第一次参加DC比赛,选择一个不太难的"游戏玩家付费金额预测大赛"进行,虽说看了各种'top 1%'.'top 10%'.'top 5%'等文章,成绩依然还是不理想.总结原因发现还是 ...
Kaggle比赛记录和总结
Kaggle比赛这个比赛我觉得是半年来收获最大的过程开始做这个比赛的时候,还有两个月的时间,花了一些时间看相关论文,当时看的是PVNet和CDPN,最后决定用CDPN试一下 CDPN CDPN的 ...
Kaggle比赛记录（四）Instant Gratification
这应该是找到工作前的最后一个kaggle比赛经历了,最终排名是45/1839,在前3%范围内.其实kaggle的比赛只要认真去做了,基本上拿个前10%不是什么难事. 选择了Instant ...
kaggle比赛记录——ieee_fraud_detection问题
文章目录题目简单尝试版 0. 所需python包 1. 数据 1.1 导入数据并显示 1.2 分析数据 2. 岭回归 2.1 学习曲线 2.2 岭回归模型 2.3 数据预处理:样本不平衡 2.4 ...

【第一次参加kaggle比赛记录-Quora Insincere Questions Classification】- Word Embedding

【第一次参加kaggle比赛记录-Quora Insincere Questions Classification】- Word Embedding相关推荐

最新文章

热门文章