前言

提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

提示：以下是本篇文章正文内容，下面案例可供参考

一、Attention相关

attention机制在目前的NLP领域大放异彩，通盘理解其本质可谓必要之至。有一场重要的面试第一道题就是：“请high-level的讲下Attention”。

1. Bahdanau attention

Bahdanau attention 论文原文
写下最核心的几个公式：
给定原文xxx,翻译产出一段文字 y1,y2,...yTy{y_1,y_2, ...y_{T_y}}y1,y2,...yTy的条件概率为
∏i=1Typ(yi∣y1,y2,..,yi−1,x)\prod_{i=1}^{T_y} p(y_i|y_1,y_2,..,y_{i-1}, x)i=1∏Typ(yi∣y1,y2,..,yi−1,x)
Decoder阶段 iii时间步的单词为yiy_iyi的条件概率为p(yi∣y1,y2,..,yi−1,x)=g(yi−1,si,ci)p(y_i|y_1,y_2,..,y_{i-1},x) = g(y_{i-1}, s_i,c_i)p(yi∣y1,y2,..,yi−1,x)=g(yi−1,si,ci).
其中 sis_isi 是Decoder在 iii 时间步的hidden_state, si=f(si−1,yi−1,ci)s_i = f(s_{i-1},y_{i-1},c_i)si=f(si−1,yi−1,ci).
而cic_ici 是上下文向量，是encoder阶段每一个时间步hj{h_j}hj的加权平均值,
ci=∑j=0Nαijhjc_i = \sum_{j=0}^{N} \alpha_{ij} h_jci=j=0∑Nαijhj
αij\alpha_{ij}αij 是每个 hjh_jhj的在 Decoder的iii时间步时的权重。
αij=exp(eij)∑k=1Txexp(eik)\alpha_{ij} = \frac{exp(e_{ij})}{\sum_{k=1}^{T_x} exp(e_{ik})}αij=∑k=1Txexp(eik)exp(eij)
其中 eije_{ij}eij代表第iii步和第jjj步的对齐程度，
eij=a(si−1,hj)e_{ij} = a(s_{i-1}, h_j) eij=a(si−1,hj)
a()a()a() 是对齐函数，这里可以定义为:
a(u,v)=tanh(W1u+W2v+b)a(u, v) = tanh(W_1u+ W_2v+b)a(u,v)=tanh(W1u+W2v+b)

总结，Bahdanau attention 基于encoder-decoder提出的attention机制，属于soft attention。

2. Luong_attention

Luong_attention 论文原文

3. Self_attention

4. 其他attention

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、Bert相关

三、机器学习相关

1.引入库

代码如下（示例）：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

data = pd.read_csv('https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

NLP算法岗常见面试题梳理相关推荐

矩阵连乘问题算法思想_AI自然语言处理算法岗常见面试题(一)
从隐藏层到输出的Softmax层的计算有哪些方法? 层次softmax 负采样层次softmax流程? 构造Huffman Tree 最大化对数似然函数输入层:是上下文的词语的词向量投影层:对其求和 ...
非常有用的101道算法部分常见面试题
非常有用的101道算法部分常见面试题 1. Given a rectangular (cuboidal for the puritans) cake with a rectangular piece ...
测试开发岗 - 常见面试题
目录 1. 什么是软件测试, 谈谈你对软件测试的了解 2. 我看你简历上有写了解常见的开发模型和测试模型, 那你跟我讲一下敏捷模型 3. 我看你简历上还写了挺多开发技能的, 那你给我讲讲哈希表的实现流 ...
数据结构与算法—链表常见面试题（持续更新）
文章目录一.链表环 1.判断链表是否有环题目方法1: 方法2: 二.反转链表 1.完全反转链表题目: 方法1 方法2 2.反转部分链表题目: 方法1 参考链接:https://blog.cs ...
算法工程师 -常见面试题
▌1. LDA(线性判别分析) 和 PCA 的区别与联系首先将LDA 扩展到多类高维的情况,以和问题1 中PCA 的求解对应.假设有N 个类别,并需要最终将特征降维至d 维.因此,我们要找到一个d ...
算法面试必备-----数据仓库常见面试题
算法面试必备-----数据仓库常见面试题算法面试必备-----数据仓库常见面试题问题:什么叫数据仓库? 问题:数据仓库建模为什么需要数据仓库建模? 数据仓库建模方法? 1.ER模型 2.维度建模 ...
算法面试必备-----数据分析常见面试题
算法面试必备-----数据分析常见面试题算法面试必备-----数据分析常见面试题 1.统计学问题问题:贝叶斯公式复述并解释应用场景问题:朴素贝叶斯的理解问题:参数估计问题:极大似然估计问题 ...
通信工程中常用算法c语言,通信工程常见面试题.doc
通信工程常见面试题模拟电路 1. 基尔霍夫定理的内容是什么?(仕兰微电子) 基尔霍夫电流定律是一个电荷守恒定律,即在一个电路中流入一个节点的电荷与流出同一个节点的电荷相等. 基尔霍夫电压定律是一个能 ...
别求面经了！小夕手把手教你如何斩下和选择NLP算法岗offer！（19.11.21更新）
推完上一篇文章,订阅号和知乎后台有好多小伙伴跟小夕要面经(还有个要买简历的是什么鬼),然鹅小夕真的没有整理面经呀,真的木有时间(｡ ́︿ ̀｡).不过话说回来,面经有多大用呢?最起码对于NLP岗位的面 ...

NLP算法岗常见面试题梳理

文章目录

前言