AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐

小杜

无界日报第2期，本期头条 - stable diffusion 微调模型 riff + diffusion 以生成频谱图图像来转换为音乐。

无界日报

2022.12.16

第02期

- 头条 -

riff + diffusion

#AIGC# #工具#

riff + diffusion 是 stable diffusion 的微调模型，以生成频谱图图像来转换为音乐。开发团队制作了一个交互式网络应用程序来输入提示并实时无限生成音频内容，同时以 3D 方式可视化频谱图时间线。

当用户输入新提示时，音频会平滑地过渡到新提示风格。如果没有新提示，应用程序将在同一提示的不同种子值之间进行音频生成。频谱图被可视化为沿时间线的 3D 波纹图，带有半透明的播放条提示播放进度。

-音频频谱图：如图所示，是一种表示声音片段频率内容的可视化方式。x 轴代表时间，y 轴代表频率。每个像素的颜色给出了音频在其行和列给定的频率和时间的振幅。

除了用文本生成/修改生成音频，riffuion 也支持用图像-图像生成/修改音乐，并且能保留原始频谱图图像的结构，不改变音频走势框架的同时对音频进行定向的微调修改。

1.带有爵士乐萨克斯管独奏的放克低音
- 微调后 -
2.放克钢琴

项目官网给出了详细的提示语建议与微调操作指南，感兴趣的朋友可以前往项目页体验一番～

......

项目官网：
www.riffusion.com/
项目解读：
www.riffusion.com/about

- More -

# 02

#AIGC##工具#

Whisper to Stable Diffusion

用母语说话(或唱歌)来生成图形，任何语言都将自动翻译为英文，由 Sylvain @fffiloni 制作 -Whisper：是一种通用的语音识别模型。它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。

demo地址：
huggingface.co/spaces/fffiloni/whisper-to-stable-diffusion

# 03

#智能产品# #插件#

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报第2期相关推荐

音频处理相关内容学习——自动编码器——变分自动编码器——频谱图
文章目录概述一.Approaches And Challenges 生成的声音是什么类型训练模型使用的是什么特征原始音频Raw Audio 频谱图Spectrograms 声音生成模型常用的结 ...
Facebook频谱图模型生成比尔·盖茨声音，性能完胜WaveNet、MAESTRO
作者 | James Vincent 等编译 | 夕颜.Monanfei 出品 | AI科技大本营(ID:rgznai100) 计算机生成语音领域,正在酝酿着和一场革命.Facebook 工程师们设 ...
auCDtect Task Manager——这不只是个无损检测工具，还能批量生成频谱图，强烈推荐
By 咣輝のま裔http://blog.sina.com.cn/s/blog_637d7cd80101pzx4.html 转载请注明作者信息,谢谢. 今天要向大家推荐一个无损检测工具,它是auCDte ...
AI图片生成Stable Diffusion参数及使用方式详细介绍
Stable Diffusion环境搭建与运行请参考上一篇博文<AI图片生成Stable Diffusion环境搭建与运行>,地址为"https://blog.csdn.net/ ...
网易云音乐params和encSecKey参数生成代码
网易云音乐params和encSecKey参数生成代码不废话,直接上code import requests import json import base64 import random impo ...
计算机视觉与音乐,Talk预告 | 香港中文大学MMLab在读博士生周航: 视觉引导的音乐声源分离与立体声生成...
本周为将门-TechBeat技术社区第245期线上Talk!也是ECCV 2020系列 Talk第③弹! 北京时间9月29日(周二)晚8点,香港中文大学多媒体实验室博士生-周航的Talk将准时在将门T ...
浅谈图像生成模型 Diffusion Model 原理
重磅推荐专栏: <AI 大模型之美> 揭开 ChatGPT 面纱,拥抱 AI 新潮流重磅推荐专栏: <Transformers自然语言处理系列教程> 手把手带你深入实践Tra ...
Kaggle赛题解析：Diffusion Prompt生成
文章目录一.比赛信息二.比赛背景三.比赛任务四.评价指标五.数据描述六.解题思路一.比赛信息比赛名称:Stable Diffusion - Image to Prompts 推断生成高 ...
arduino点阵声音频谱_创客实战 | 制作一个随音乐跳动的32分频音频频谱显示器
前言这期作品是通过 Arduino 和四块LED点阵模块,实现32分频的音频频谱可视化显示,让LED随音乐跳动! 主要特点 1.使用简易安装的库 ArduinoFFT 和 MD_MAX72xx.2. ...

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报第2期

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报第2期相关推荐

最新文章

热门文章

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期相关推荐

最新文章

热门文章

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报第2期

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报第2期相关推荐