FunAudioLLM：一款基于LLMs的语音理解和生成框架，支持多语言语音识别、情感识别和音频事件检测，以及多语言、音色和情感控制的语音生成

FunAudioLLM：FunAudioLLM Homepage (fun-audio-llm.github.io)

FunAudioLLM是一款基于大语言模型（LLMs）的语音理解和生成框架，旨在增强人类与LLMs之间的自然语音交互。该框架包含两个创新模型：SenseVoice用于高精度多语言语音识别、情感识别和音频事件检测；CosyVoice用于具有多语言、音色和情感控制的自然语音生成。

FunAudioLLM有哪些功能？

1. SenseVoice支持50多种语言，具有极低延迟，可用于多语言语音识别、情感识别和音频事件检测。

2. CosyVoice实现多语言语音生成、零样本语音生成、跨语言语音克隆和指令跟随等功能。

产品特点：

1. SenseVoice具有高精度和低延迟，支持多语言语音识别和情感识别。

2. CosyVoice具有多语言、音色和情感控制，支持多种语音生成场景。

应用场景：

1. 语音到语音翻译

2. 情感语音聊天

3. 交互式播客

4. 生动有声的有声书朗读

FunAudioLLM如何使用？

用户可以通过集成SenseVoice和CosyVoice模型，实现语音到语音翻译、情感语音聊天、交互式播客等应用场景，提升语音交互体验。

常见问题：

1. 产品是否支持实时语音识别？

2. 是否可以自定义语音生成的音色和情感？

3. 产品的多语言支持范围是什么？