深入浅出地理解傅里叶变换、语谱图(spectrogram)

2024-05-20 12:40:58

深入浅出地理解傅里叶变换

类比：就像光的色散一样，sound相当于白光，FT相当于棱镜，散射出来的各色的光谱就是频域信息

直观理解：傅里叶变换将复杂的时域声音信号转换成了频域部分

深入理解：首先将原始信号与许多不同频率的正弦信号相比较

对于每一种频率，我们得到了一个振幅和一个相位

振幅信息表现了原始信号和对应频率的正弦信号之间的相似程度

离散傅里叶变换 (DFT)

因为计算机中存储的信号通常是离散信号，所以我们要使用离散傅里叶变换 DFT

连续函数的计算使用积分，离散函数的计算使用求和

从离散傅里叶变换(DFT)到快速傅里叶变换(FFT)的计算复杂度：

设N是样本点的个数，DFT的复杂度为N^2

FFT的复杂度为Nlog2N 当N是2的幂时FFT非常有效

傅里叶变换得到一个复数-频率谱

对于有N个样本点的时域信号进行傅里叶变换比如进行(np.fft.fft)

之后得到有M个频率点的傅里叶变换系数向量，且M=N

每一个复数的模代表幅度，角代表相位信息

取np.absolute(ft)得到Magnitude spectrum

频域信息就像是信息的一个快照，它是关于整个时间段的信息

频域信息是对整段时间内的信息进行了平均的计算

Short-Time Fourier Transform 短时傅里叶变换得到 spectrogram

傅里叶变换的问题是我们知道关于整段时间内频域的信息

但是我们不知道相关信息对应的是什么时候发生了，也就是没有时域信息

因此我们考虑将整个时间段分为一个个小时间段，也就是frames

即局部地进行傅里叶变换而不是对全局傅里叶变换

短时傅里叶变换包含了时域和频域的综合信息

(STFT的原理其实就是在DFT的基础上，引入分帧加窗处理的思想)

关于输出：

DFT输出的是一个频谱向量，向量的值都是复数，向量的长度是(# frequency bins)

frequency bin指的是时域信号经过FT之后得到的spectrum中频率轴的频率间隔

(DFT中N=M，所以frequency bin = 1 sample，而 # frequency bins = N)

STFT输出的是一个频谱矩阵(# frequency bins, # frames)

(# frequency bins) = frame_size/2 + 1 (# means the number of)

(# frames) = (sapmles - framesize) / hopsize + 1

！！！区分好frequency bin的数量和一个frequency bin中元素的数量这两个概念！！！

对矩阵再进行逐位平方就将幅度转化为功率了，最终得到了语谱图！

语谱图是一段音频在时域和频域特性上的综合描述

语谱图其实有很多种，有幅度、功率、频率语谱图，而且还有尺度相关的东西

深入浅出地理解傅里叶变换、语谱图(spectrogram)相关推荐

语谱图（二） Spectrogram 的产生
1. 信号预处理部分预处理部分中包括预加重分帧加窗 : 1.1 读取音频数据 python可以用librosa库来读取音频文件,但是对于MP3文件,它会自动调用audio_read函数,所以 ...
waveform波形图（时域图）、spectrum（频谱图）、spectrogram（语谱图）、MFCC
人的气流(excitation)通过声道到嘴唇产生声音.唇齿舌的形状决定了发出怎样的声音,这个形状通过频谱图中的包络中显示出来.而MFCCs就是一种准确描述这个包络的一种特征. 一.waveform波 ...
宽带语谱图(wideband spectrogram)和窄带语谱图(narrowband spectrogram)的区别
1.概念区分宽带spectrogram: 以3ms(或300Hz左右的带宽)左右进行分帧之后制成的spectrogram 窄带spectrogram: 以20ms(或45Hz左右的带宽)左右进行分帧 ...
语音信号处理-概念（一）：时域信号（横轴：时间；纵轴：幅值）、频谱图（横轴：频率；纵轴：幅值）--傅里叶变换--＞时频谱图（语谱图/声谱图）【横轴：时间；纵轴：频率；颜色深浅：幅值】
我们经常接触到与频谱相关的概念.本节对这些概念之间的区别进行简单的介绍. 一般来讲,将一段时域信号通过离散傅里叶变换后,将频率作为横轴.幅度作为纵轴,得到的图像称作频谱.若将相位作为纵轴,则称为相 ...
语谱图（四） Mel spectrogram 梅尔语谱图
1. 语谱图的产生前文介绍了语谱图的产生这里在简单小结如下, 信号预处理,预加重, 分帧, 加窗, 进行STFT 变换, 生成频谱图: 对单帧信号的频谱进行映射, (2,3 步骤如下图) 将映射后 ...
python求语音信号短时能量、短时过零率、语谱图
python语音信号处理(二) 一.短时能量短时能量主要用于区分浊音段和清音段,因为浊音时E(i)值比清音时大得多:区分声母与韵母的分界和无话段与有话段分界. 计算第i帧语音信号yi(n)的短时能量 ...
【语音信号处理】1语音信号可视化——时域、频域、语谱图、MFCC详细思路与计算、差分
基本语音信号处理操作入门 1. 数据获取 2. 语音信号可视化 2.1 时域特征 2.2 频域特征 2.3 语谱图 3. 倒谱分析 4. 梅尔系数 4.1 梅尔频率倒谱系数 4.2 Mel滤波器原理 ...
python实现时频谱，语谱图，mel语谱倒谱等
python实现时频谱,语谱图,mel语谱倒谱等可以和理论相结合学习:https://blog.csdn.net/qq_36002089/article/details/108378796 语音信号 ...
python绘制语谱图（详细注释）
用python 绘制语谱图 1.步骤: 1)导入相关模块 2)读入音频并获取音频参数 3)将音频转化为可处理形式(注意读入的是字符串格式,需要转换成int或short型) 代码如下: import ...
使用Matlab绘制语音信号的语谱图
本文绘制语音信号的语谱图主要使用了spectrogram函数,spectrogram是一个MATLAB函数,使用短时傅里叶变换得到信号的频谱图.当使用时无输出参数,会自动绘制频谱图:有输出参数,则会返 ...

最新文章

热门文章