人声对齐的全新标准:Waves 发布 Sync Vx 插件

录音也可以如此简单:SHURE MV7i 智能麦克风评测

评测:Novation 新版 Launchkey MK4 能否成为新宠?

拒绝削波,专注于录音:TASCAM FR-AV2 紧凑型带混音器和时间码功能的 32 位浮点录音机

经典动态处理电路设计的升级之作:Alctron 爱克创 CP540V2 压缩/限幅器


港科大推出开源的 AI 音乐生成平台 YuE

官方新闻稿 发布于 5 小时前 ·

分享到微信

YuE AI是一个突破性的AI系统,可以把歌词变成完整的歌曲。基于先进的基础模型,它能生成声乐和伴奏,创建出贯穿数分钟的和谐音乐作品。既可以在线使用,也可以作为开源项目,YuE AI(乐)在中文里代表着音乐和快乐。

YuE主要特性:

  • 完整歌曲生成:可以根据歌词生成含声乐和乐器的完整歌曲
  • 支持多种流派:从流行到金属,以及更多风格
  • 多语言能力:支持英语、中文、日语和韩语
  • 简单易用:直接在你浏览器中生成歌曲


YuE AI 核心功能

  • 完整歌曲生成:根据你的歌词生成含声乐和伴奏的完整歌曲
  • 多流派支持:可以生成包括流行、金属等各种风格的音乐
  • 风格控制:自定义流派、乐器、情绪、声乐音色和性别
  • 音频提示支持:使用现有的音频片段来指导生成的音乐风格

YuE 的技术原理

  • 语义增强音频分词器:YuE 使用语义增强音频分词器来降低训练成本并加速收敛。能更好地理解歌词的语义信息,与音乐信号相结合,生成更符合歌词内容的音乐。
  • 双分词技术:YuE 提出了一种双分词技术,用于在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模。模型可以在生成主唱部分的同时,同步生成合适的伴奏,确保两者在节奏和旋律上的协调性。
  • 歌词链式思维生成:YuE 引入了歌词链式思维生成技术,支持模型在遵循歌词条件的情况下逐步生成整首歌曲。使模型能更好地处理长上下文信息,确保生成的歌曲在整体结构上保持连贯性。
  • 三阶段训练方案:YuE 采用了三阶段训练方案,确保更好的可扩展性、音乐性和歌词可控性。具体来说:
    • 第一阶段:基础模型训练,学习音乐生成的基本模式。
    • 第二阶段:风格和情感对齐,通过大量样本来调整模型,能生成特定风格和情感的音乐。
    • 第三阶段:偏好纠正,通过强化学习等技术进一步优化生成结果,确保生成的音乐更符合人类的审美标准。


YuE AI有什么特别之处?

YuE AI是一个先进的AI模型,可以从歌词生成完整的歌曲,包括声乐和乐器。它支持多种语言和流派,同时保持高质量的输出。虽然是开源的,但我们还提供了一个方便的在线平台供你立即使用。

我该如何使用YuE AI?

最简单的方式就是用我们的在线平台 - 只需输入你的歌词,选择你的风格偏好,然后生成你的歌曲。对于开发者来说,开源版本也可以在Hugging Face上获取。

YuE AI支持哪些语言?

YuE AI支持多种语言,包括英语、中文(普通话和粤语)、日语和韩语。

使用YuE AI需要安装什么吗?

不需要!你可以直接通过我们的在线平台使用YuE AI(https://yueai.app/zh/playground),无需任何安装。如果你是想使用开源版本的开发者,需安装Python 3.8以上版本以及合适的GPU硬件(https://github.com/multimodal-art-projection/YuE)。

生成一首歌需要多长时间?

YuE AI在H800 GPU上大约能在150秒内生成30秒的音乐,或者在RTX 4090 GPU上大约360秒。

我可以自定义YuE AI的音乐风格吗?

可以的!YuE AI允许你指定流派、乐器、情绪、声乐音色和性别。你甚至可以用音频提示来指导风格。

YuE AI是开源的吗?

是的,YuE AI在创意共享署名非商业4.0牌照下发布。所有模型权重都在Hugging Face上可用(https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-icl)。

YuE AI支持哪些音乐流派?

YuE AI支持多种流派,包括流行、摇滚、金属、电子、爵士、古典等等。你可以在生成歌曲时指定流派,以达到想要的风格。

我可以把YuE AI生成的歌曲用于商业用途吗?

可以,你可以将通过我们在线平台生成的歌曲用于商业用途。不过,如果你使用的是开源版本,请注意它是基于非商业许可的。

我能输入多长的歌词?

YuE AI能处理完整歌曲的歌词。我们建议输入控制在100到300字之间以获得最佳效果,但系统也能处理更长的文本。

开始使用YuE AI


几分钟内创建你的第一首AI歌曲:https://yueai.app/zh/playground

  • 在在线界面中输入你的歌词
  • 选择你喜欢的音乐风格
  • 设置流派标签并自定义声乐风格


中文官网:https://yueai.app/zh

文章出处 https://yueai.app/zh

转载新闻请注明出自 Midifan.com

暂无评论