2023年,AIGC基于文本生成音乐,现在压力来到了配乐行业这边| |Github

衡发来自凹非寺

量子位|公众号QbitAI

宇航员要骑马奔驰,什么样的BGM比较好? 这个交给AI试试!

输入“宇航员乘坐马来西亚”文本,生成秒速1分钟的音频。

emmm……听起来很动态!

嗯,是的AI可以根据文字提示生成音乐

上面的演示视频已根据Deforum Stable Diffusion的Colab页面代码进行了修改。

这个新项目的名字是Mubert API

在Github上开源,获得了1000多个目标。

在推特上,已经有不少人使用Mubert API生成语音,并为自己的视频配上音乐。

试听的朋友们这样评论。

音乐由真人作曲,用AI组曲在演示视频中。 这个text-to-music的AI,如果能产生实际的效果就好了。

现在,我们来看看Mubert API是如何工作的。

大致的工作流程如下。

音乐人作曲并上传AI按类型分类用户输入文本AI用demo组曲生成个性化音乐

也就是说,Mubert API从事文本至音乐的工作,但AI负责的部分只有两个步骤。

分类demo根据提示文本组合demo制成歌曲。

简而言之,最后生成的音乐由真人曲、AI组曲。

具体是怎么回事?

回到第一步,音乐家们制作demo并上传到Mubert。

AI没有学习音乐人的示例并自己生成新的音乐,而是采用了这种方法,这是因为Mubert拥有“从创作者到创作者”的理念。

目前,音乐家们上传的150多万demo已进入Mubert API的音乐库。

为了让用户们开心,Mubert买了所有demo的版权。

在线玩后生成的音乐,可以免费使用

用于放置图像和放置视频画面。

要在各个社交平台上共享,请务必携带@mubertapp和#mubert话题。

但是,绝对不能是DSP(Spotify、Apple Music、Deezer等)

上面被标记为原创发表。

对于商用,必须是别的价格。

Demo上传、签入后,AI识别音乐风格,并将它们分组分类

让它更容易贴上标签。

前面的工作准备好了,现在谈谈具体的操作流程吧。

用户需要键入一句话作为提示文本,然后添加一些Mubert API标记。

请注意,生成音乐的时间可以调节。 是否进行循环,选择哪个段开始循环,也可以由你自己决定。

例如宇航员乘坐马来西亚,标签就变成了“空间”“萨克斯”“旅行”。

这些文本内容被编码为Transformer的潜在空间向量,AI选择最接近关键字和标签的内容

的标记向量。

也就是说,AI经过分析,选择符合提示文本的音乐demo,并将它们排列组合。

就这样,从文本中生成的个性化音乐出现了!

即使输入相同的显示文本,产生雷同音乐的可能性也较低。

因为所有音乐都是在提交请求时即时生成的

而不是直接从现有的卡车库中拿来。

一旦开源,网友们就已经开始玩了。

日本网民用来生成和风流行音乐。 但是,他也在怀疑。 和印象中的日本音乐不太一样呢。

当然,也有人试图通过Mubert API给即将到来的万圣节增加一点恐怖的气氛。

有玩家试玩后,Mubert API表示,在进行音乐生成时,提示文本和标签只能提供音乐氛围,无法直接创作节奏等。

Mubert系列从官网上看,除了Mubert API之外,Mubert系列还有几个项目。

从现有标签生成音乐的Mubert Render。

与API相比晚了一步,所以用户不能手动输入提示文本。

但是,玩的人不少,页面上已经有很多生成的音乐在推荐位置。

然后,音乐家专用上传自己的音乐demo,赚了一点钱的Mubert Studio。

(请说一下,和API形成了闭环吧)

并不复杂。 简单注册就可以了。

也有叫Mubert Play的人

的APP。

运动、放松、冥想时,会再增加一个听需要的音乐的软件。

有点遗憾的是,除了自己执行开源代码,现在普通玩家不能玩网络版。

幸运的是,创作团队在Twitter上发表了评论:

Mubert API将很快在官网上线! 尽快开发使用方便、使用方便的Web界面。

再等一下!

Github地址: https://github.com/mubertai/mu Bert-text-to-music

Mubert官方网站: https://mubert.com/

结束了

量子QbitAI 头条号合约关注我们,第一时间了解前沿科技动态

动态分享

ppt鎏金立体字,ppt3d立体金属字

2022-12-9 16:43:35

动态分享

2023年,致每一个喜爱模型玩具的大孩子

2022-12-9 16:45:37

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索