音频变时不变调处理(SoundTouch WSOLA)

现在已有一些博客写这相关的内容，但是真的写的看完和没看一样，我最近也研究了一下相关内容，为自己记个笔记，同时也分享出来，和大家一起讨论

变时不变调时音频处理里的一个小方向，但又没那么简单，算法有很多，我就以soundtouch库为例来展开聊一下。

soundtouch是一个音频处理开源库，其官网（http://soundtouch.surina.net），该库支持在windows、GNU、android平台的安装，有编译好的库也有源码。
soundtouch能处理wav格式的音频。
soundtouch支持音频的变时不变调处理(tempo)，变调不变时处理(pitch)，和变时变调处理(playback rate)，在soundtouch的可执行命令里对应tempo、pitch、rate，其实这三个参数是通过两大类算法来控制的，tempo是通过类WSOLA算法来控制音频的时长且不改变音频的音调，rate是通过采样的算法加滤波算法(这两者一般是在一起的，不管是上采样还是下采样，因为抽取可能产生混叠，内插可能产生镜像，所以分别要使用抗混叠或抗镜像滤波器来处理，这两种滤波器一般都是低通滤波去)来控制音频的时长同时也改变音频的音调，pitch就是tempo+rate的结果。
soundtouch库对音频进行变时不变调处理时会有100ms的延时。

下面主要就讲一下WSOLA算法，这里不会讲到太深的理论，不使用复杂公式，通过一篇综述来讲一下：
综述名叫《A Review of Time-Scale Modification of Music Signals》，可以自己google一下，我传到我的资源上了

1.音频的时长变换TSM
时长变换基本分为三个步骤：

将音频按帧分解
将分解好的帧重新定位
合成最终音频

如下图所示：

2.OLA算法(Overlap-Add)
看名字可以理解，这就是一个简单的叠加算法，先将输入的音频进行分帧处理，然后进行音频合成(叠加)，叠加间隔计算如下面公式

OLA算法如下图所示：

这样做会使得产生的音频有两个问题：

会造成音频的不连续，如下图所示
直接叠加会造成音频叠加部分信号幅值改变，如下图所示

3.WSOLA算法(Waveform Similarity Overlap-Add)
WSOLA类似于SOLA，不同的是在对输入音频分解成音频帧后不直接叠加，而是在一定的范围内查找待叠加的音频帧，该音频帧要符合与原位置处音频帧“波形最相似”的条件，符合该条件的音频帧作为输出帧进行输出视频的合成。“波形最相似”可以通过互相关系数来确定。
上面这句话可能较难理解，但是是核心，可以结合下图来理解(图片的注释很有帮助)

原理基本就这样了，回到sountouch的源码来看一下，源码下载地址(http://soundtouch.surina.net/download.html)，我目前下的是SoundStretch 2.0 for Mac OSX 版本，下载后解压，按照Readme安装该库，在文件夹soundstretch_mac_osx_v2.0.0/soundtouch/source中保存着soundtouch的源码，其中source/SoundStretch保存着一个使用样例用于音频的变时不变调处理，source/SoundTouch保存着soundtouch的源码。

自己用xcode新建了一个工程，源码使用source/SoundStretch，如下图所示

在上图中，soundtouch_test文件夹中，main里面是主函数，RunParameters是用来处理输入参数的类，WavFile是用来处理wav文件的类，TDStretch就是用来处理变时不变调的类(改变tempo)，RateTransposer是用来处理音频采样的类(改变tempo和pitch)，pitch的实现则是使用了TDStretch和RateTranspose两个类。
在处理变时不变调时，可以调整三个参数，DEFAULT_SEQUENCE_MS、DEFAULT_SEEKWINDOW_MS、DEFAULT_OVERLAP_MS，这部分的设置方法可以在readme和TDStretch.h看到一些信息，默认的设置是有利于处理音乐音频，如果要处理演讲类的音频TDStretch.h给出了另一组设置。DEFAULT_SEQUENCE_MS指的是处理的音频片段长度，DEFAULT_SEEKWINDOW_MS指的是WSOLA算法中查找“波形最相似”音频的区域大小，DEFAULT_OVERLAP_MS指的是最后的叠加区域大小。

还有一点要注意的是在SoundTouch类中定义了virtualTempo、virtualPitch、virtualRate，这些是外部设置的参数与命令工具的tempo、pitch、rate不对应，而内部运算用的也不是virtualTempo、virtualPitch、virtualRate，而是SoundTouch类中的tempo、rate（如果命令工具设置tempo=-70则virtualTempo=0.3、virtualPitch=1、virtualRate=1，tempo=0.3、rate=1）

音频变时不变调处理(SoundTouch WSOLA)相关推荐

soundtouch android,音频变时不变调处理(SoundTouch WSOLA)
现在已有一些博客写这相关的内容,但是真的写的看完和没看一样,我最近也研究了一下相关内容,为自己记个笔记,同时也分享出来,和大家一起讨论变时不变调时音频处理里的一个小方向,但又没那么简单,算法有很多, ...
怎样将音频变声？1分钟教你音频变声怎么弄！
大家平常爱不爱刷短视频呢?不知道你们看短视频的时候有没有注意到,一些视频的配音很是搞怪,常常让人捧腹大笑!那么这些声音是怎么制作出来的呢?其实大部分的搞怪配音,都是借助软件对音频进行变音来实现的~今天 ...
如何将音频变声？试试这几个方法吧
昨天,我在构思视频素材的时候想到可以在其中添加一个鬼畜片段,以此来提升视频的丰富度和乐趣.那么如果要添加鬼畜片段的话,首先就需要我们将音频进行变声操作,不过由于不知道怎么进行音频变声,于是我就上网搜索 ...
这三个音频变声编辑软件教你怎么给音频变声
现如今随着我们生活的节奏越来越快,大家都爱上了短视频,每天也都有大量的短视频被创作出来.在这样的背景下,不知道有没有小伙伴也充满创意的想去尝试,但是却因为不知道怎么调整音频变声而阻挡了创作的步伐呢?其 ...
怎样将音频变声？三分钟教会你
音频变声是一种常见的音频处理方式,可以对人声或音乐进行特殊处理,使其声音产生不同的效果.它的应用广泛,像是音乐制作人可能需要使用音频变声来改变歌手的声音,使其更加独特或与歌曲的风格相匹配.例如,将男歌 ...
音频变声的软件叫什么？这些软件值得收藏
在今天这个数字时代,随着人们对于娱乐消费需求的不断增长,很多人开始涉足各种新领域,比如语音包.游戏配音.BGM制作等等.这些领域的共同点是需要一定的音频素材,同时也需要创意性地处理这些素材.这时,音频 ...
androidwakelock_Android音频播放时wakelock的实现
音频播放时 wakelock 的实现作者 :Macro Liu 功能描述 : 当播放音乐时,按电源键只需要进入 early suspend, 以保持音乐播放状态. 实现方法 : 在上层和内核都加 w ...
Python获取.wav音频的时长
要求是这样的: 给你一个.wav的音频,要求获取这个音频的时长.这里需要用到两个模块,contextlib和 wave. 方法1: import contextlib import wave file ...
php获取音频的时长,PHP编程获取音频文件时长的方法【基于getid3类】
本文实例讲述了PHP编程获取音频文件时长的方法.分享给大家供大家参考,具体如下: 问题: 昨天在新增论坛功能的时候,移动端显示音频文件需要知道是多长的音频: 具体解决方案如下: 首先就是数据库中增加保 ...

音频变时不变调处理(SoundTouch WSOLA)

音频变时不变调处理(SoundTouch WSOLA)相关推荐

最新文章

热门文章