Riffusion 是一个免费开源的具有稳定扩散的实时音乐和音频生成库,用户只需输入音乐描述,AI便可以生成对应风格的音乐。该开源项目由Seth Forsgren 和 Hayk Martiros推出,Riffusion的背后原理是基于Stable Diffusion(文本生成图像模型)微调频谱图,频谱图是音频的视觉表示,显示不同频率随时间的振幅,而后再将高保真度的频谱图图像转换为音频