【学习笔记】计算机听觉

音频信号的特征提取

在处理音频信号时，一般要先进行特征提取，消除信号中的背景音、噪声等，保留有辨识性的内容信息。梅尔频率倒谱系数MFCC（Mel-Frequency Cepstral Coefficient）是一种非常重要的音频特征。

MFCC的主要特征提取流程为：

预加重：对音频信号的高频部分进行加重，增加信号中高频部分的分辨率、一般来说，音频信号的低频段能量高、信噪比大，高频段能量低、信噪比小。所以音频信号的能量主要分布在低频段，功率谱密度会随着频率的增高而降低，导致高频信号传输困难，影响信号质量。预加重最简单的处理方法是将音频信号通过高通滤波器。
分帧：将音频信号按一定的时间间隔分成若干帧。音频信号具有短时平稳性，分帧处理是为了保证后续的傅里叶变换的输入信号是平稳的。
加窗：将分帧后得到的每帧信号与特定窗函数相乘。加窗操作是为了让帧和帧之间平滑地衰减到零，取得更高质量的频谱。
傅里叶变换：将音频信号从时域变换到频域。转换到频域上能够更容易获得声音的一些本质特征。
梅尔滤波：模仿人类的听觉感知系统对频谱进行滤波变换。梅尔滤波器在低频区域分布比较密集，在高频区域比较稀疏。
对数变换：用于放大低能量区域的能量差异。
离散余弦变换：对特征做进一步的处理和压缩。梅尔滤波器的个数通常是404，因此离散余弦变换的结果也是40维的，在实际应用中一般保留前12~20维。

MFCC特征提取分离了包络和细节，提取出了反映音色的包络，排除细节的干扰，模仿人耳特性的梅尔滤波器组更符合人类的听觉特征，最终得到的MFCC特征序列维度较低，易于后续的建模处理。

语音识别

语音识别是通过计算机程序将一段人类语言的声音信号转换为对应的词序列。

组成模块

语音识别算法一般由编码器和解码器两部分组成，编码器包括信号处理和特征提取模块，解码器包括声学模型、语言模型、搜索算法等。

信号处理与特征提取：以音频信号为输入，通过信号去噪和增强等方式预处理音频信号，再通过时频转换以及相关的特征提取算子来提取特征。
声学模型：输入特征序列，结合声音学相关知识，生成声学模型得分，并得到语音特征到音素的映射。音素是根据语音的自然属性划分出来的最小单位。
语言模型：通过语料库来训练和学习词之间的条件概率，从而估计出词序列的可能性。
搜索算法：对给定特征向量和假设词序列，计算声学模型得分和语言模型得分，将综合分数最高的词序列作为识别结果。

传统算法

传统方法最常用的框架是先提取音频信号的MFCC特征，然后使用基于高斯混合模型的隐马尔可夫模型（GMM-HMM）进行语音识别。HMM用于建模词的隐状态与观察状态之间的关系，GMM用于建模观察状态的语音特征的分布情况。

深度学习算法

用深度神经网络来替代传统方法中的各个模块，使模型的整体结构从复杂的多模块级联转为端到端的形式。DNN-HMM算法用DNN替换了传统方法中的信号预处理、特征提取、GMM等级联模块。CTC算法结合LSTM来代替HMM模块。

音频事件识别

音频事件识别是指用计算机自动地识别音频信号并关联声音对应的事件。常用方法是先将音频信号转换为频谱信号并提取MFCC特征；随后经过深度卷积神经网络进行进一步的特征提取，将特征压缩为更紧凑、具有高级语义信息的表征向量；最后将该向量输入到相应任务的分类器，得到最终音频事件的预测结果。