2009年末，当詹姆斯•克拉克(James Clarke)进入伦敦传奇的阿比路工作室(Abbey Road Studios)工作时，他还不是一名音频工程师。他被聘为软件程序员。在他开始工作后不久的一天，他正和几位上世纪六七十年代的录音棚老员工共进午餐。在上世纪六七十年代，音乐录制还未进入电脑时代，当时的歌曲都被录在一盘磁带上。为了进行对话，克拉克问了一个看似无辜的问题:你能拿一盘多道录音之前的磁带，分离出单个仪器吗?你能把它拆开吗?
工程师们把他击落了。克拉克回忆说，这变成了“几个小时来解释为什么这是不可能的”。你可以用一些声音技巧把一首歌从单声道单声道变成双声道立体声，但他对此不感兴趣。克拉克在寻找一种更严格的东西:一种能把一首歌分解开来的方法，这样听众一次只能听到一个元素。也许只有吉他，也许是鼓，也许是歌手。
他说:“我一直对他们说，如果人耳可以做到，我们也可以编写软件来做到。”对他来说，这是一个挑战。“我来自新西兰。我们喜欢证明别人是错的。”
这一挑战让他处于混音领域的前沿，在混音领域，软件工程师和音频工程师共同努力，以以前不可想象的方式对旧录音进行改造。利用机器学习技术，工程师们已经开始将录音中的声音和乐器“分解”成完全独立的音轨，通常被称为“茎”。分离歌曲的组成部分是一个令人惊讶的困难问题——更像是一幅不旋转的油画，而不是用一把剪刀。但一旦工程师们有了茎，他们就可以把孤立的轨道“混合”成新的，也许是改进的东西。他们可能会增强旧唱片中低沉的鼓声，制作歌曲的无伴奏版本，或者做相反的事情，删除歌曲的人声，以便在电视节目或电影中用作背景。
作为阿比路的一名员工，很自然地，克拉克很快就把他的实验重点放在了披头士的歌曲上。但他不是唯一一个试图拆解旧音乐的人。在世界各地，其他的音频爱好者也在用他们自己最喜欢的曲目来应对同样的挑战，并集中在一些相同的方法上。在克拉克那次重要的午餐聊天之后的几年里，用于分割歌曲的应用程序和工具数量激增，围绕这一做法的学者和爱好者社区也出现了爆炸式增长。对于基于样本的音乐创作者来说，分音可能是自40年前数字采样器推动嘻哈音乐爆炸以来最伟大的声音发明。对于卡拉ok爱好者来说，这是一个改变游戏规则的机会。对于那些拥有经典但劣质唱片版权的人(或私人股本公司)，或愿意涉足法律灰色地带的狂热者来说，混合音乐提供了一种聆听过去的全新方式。经过几十年的缓慢发展，深度学习现在已经将这两种技术推向了极致。恐怖谷充满了音乐之声。
新老的声音20年前，来自长岛的专业电子测试工程师克里斯托弗·基塞尔(Christopher Kissel)是第一批进行分离实验的人之一。Kissel不容易进入录音棚。但他是一个终生的音乐迷，他梦想着让旧的歌曲听起来更新鲜。
直到20世纪60年代，几乎所有的流行音乐都是用单声道录制的——所有的器乐和人声部分都被录制在一个磁带上，然后通过一个扬声器播放。一旦一首歌被录下来，它基本上就完成了。但Kissel暗示，有可能以一种深刻的方式更新旧的单声道录音。
2000年，他购买了第一台Mac电脑，目的是将50年代和60年代的单轨流行歌曲转换成双声道立体声版本，适合耳机或适当分离的扬声器。他说:“与单声道音响相比，立体声更逼真，让你更真切地听到和欣赏音乐家之间的相互作用。”大多数听众可能更喜欢用两个扬声器(或耳机)听音乐，Kissel很用心地试着把旧唱片调成立体声。
带着新Mac的第一个晚上，Kissel用软盘安装了一个早期的数字音频工作站sonicWORX。这是唯一一个能够运行“潘多拉实时”(Pandora Realtime)的软件，这是一个可以选择性地提高录音音量的插件。“这在当时是非常先进的，”Kissel说。他想看看这个工具是否能做一些更有趣的事情。他把托妮·费雪(Toni Fisher)小姐1959年的热门作品《大伤》(The Big Hurt)搬上银幕，试图把它拆散。
Kissel说，通过使用sonicWORX的波形可视化工具和设置，他“能够将主唱、伴唱和弦乐分开，并将它们移到右边，而其余的伴唱乐器移到左边。”它是粗糙的，有点小故障，但效果是强大的。他说:“听到这个消息非常激动人心。”几十年后的今天，Kissel仍然为第一次经历所震撼。
他尝试了更多五六十年代的经典曲目，包括Del Vikings乐队的《低语的钟声》，Johnny Otis乐队的《Willie and the Hand Jive》，以及也许最合适的是，龙卷风乐队的《Telstar》，这是一部未来主义的DIY杰作，由颇具影响力的音响工程师Joe Meek制作并作曲。
Kissel通过主持论坛和维护一个记录学科进展的网站，将自己沉浸在发展中的分离和混合领域中——尽管名字是后来才出现的。他开始研究一种叫做“光谱编辑”的技术，这种技术可以让人们把声音当作视觉对象来处理。将一首歌加载到光谱编辑器中，你可以看到所有录音的许多频率，以彩色的高峰和低谷的形式呈现在一个图表上。当时，音频工程师使用光谱编辑来去除录音中不需要的噪音，但勇敢的用户也可以锁定音频轨道的特定频率，并将它们取出。当一款名为Frequency的免费频谱编辑工具出现时，Kissel决定尝试一下。
他花了大约60个小时使用Frequency，将1951年的R&B单声道单曲《爱的荣耀》(the Glory of Love)进行混音，这首歌是由声乐组合the Five Keys演唱的，他使用该应用程序小心地锁定不同的歌手，并将他们的声音在立体声光谱中传播开来。在迪斯科传奇人物汤姆·莫尔顿(他是Kissel的朋友)的最后润色下，这首歌成为2005年发行的商业专辑中第一批经过光谱编辑的混音曲之一。几家唱片公司很快就开始发行由单声到立体声混成的精选集，有时授权发行，有时公开发行，有时介于两者之间。
法国软件公司Audionamix开始构建专业的音乐分解软件，帮助用户自行分解曲目，这使得这套技术更容易使用。2007年，该公司公布了在混音方面的一项重大成就，为这部传记片带来了从单声道到影院环绕立体声的老式Édith钢琴录音。2009年，该公司在好莱坞设立了办事处，继续招揽电影、电视和商业作品。
其他时候，他们的项目涉及集中的分离。当英国在线借贷公司Sunny想在一个广告中使用已故美国R&B歌手Bobby Hebb的歌曲“Sunny”时，它发现这首歌的一段原始声音打断了广告的讲解。在Audionamix的帮助下，这些讨厌的声音从存在中消失了。法国公司还提供service-originally称为“音乐”分离,但现在将略少,除“音乐”——老电视连续剧和电影是纯音乐,可能太昂贵的许可,这样他们就可以被释放的最新格式,DVD或流。据Audionamix的研究员尼古拉斯·卡塔内奥(Nicolas Cattaneo)说，“这是第一件开始真正可用的东西”，至少在商业上是这样。(研究老电影和电视节目中的音乐的学者，如果他们想确保自己听到的是原声音乐，可能应该依赖于2009年前后发行的音乐。)
AudioSourceRE和Audionamix的Xtrax stem是首批面向消费者的自动分音软件选项。例如，向Xtrax输入一首歌，该软件就会吐出人声、贝斯、鼓声和“其他”的音轨，而上一个术语则会为大多数音乐中听到的声音范围做一些繁重的工作。最终，也许，一个通用的应用程序将真正地并立即将录音完全混合;在那之前，它是一次一个轨道，它正在变成自己的艺术形式。
耳朵能听到什么在艾比路(Abbey Road)，詹姆斯·克拉克(James Clarke)在2010年左右开始认真地研究他的分解项目。在他的研究中，他偶然发现了一篇写于70年代的论文，关于一种用于将视频信号分解为人脸和背景等组件图像的技术。这篇论文让他想起了自己在攻读物理学硕士时的经历，当时他研究的是显示信号频率随时间变化的光谱图。
光谱图可以将信号可视化，但是论文中描述的非负矩阵分解技术是一种处理信息的方法。克拉克认为，如果这项新技术适用于视频信号，那么它也可以适用于音频信号。“我开始研究仪器是如何组成光谱图的，”他说。“我开始意识到，‘这就是鼓，这就是人声，这就是贝斯吉他。’”大约一年后，他开发了一款软件，可以很好地根据频率分解音频。他的第一个重大突破可以在2016年披头士乐队唯一的官方现场专辑remaster中听到。1977年发行的第一张LP唱片，由于观众的尖叫声，很难让人听进去。
在试图降低人群的噪音失败后，克拉克终于有了一个“意外的时刻”。他没有把嚎叫的风扇当作需要去除的信号中的噪音，而是决定把风扇作为混合乐器中的另一个模型。通过将人群识别为自己的独立声音，克拉克能够驯服披头士狂热者，将他们孤立起来，并将他们置于背景中。然后，这四个音乐家将音乐推向了前景。
克拉克成了混搭行业的专家。他帮助挽救了这个获得38张格莱美提名的专辑，该专辑旨在汇集1969年盛大音乐节的每一场演出。(坦白地说，我还在片场做了衬垫注释。)在音乐节上雨下得最大的时候，锡塔琴演奏家拉维·尚卡尔(Ravi Shankar)登上了舞台。然而，录制表演的最大问题不是雨，而是尚卡尔当时的制作人带着多音轨磁带潜逃了。在录音室里听了之后，尚卡尔认为它们不能用了，于是发行了一张录音室里的假LP，没有伍德斯托克音乐节本身的通知。最初的音乐节多音轨很久以前就消失了，留给未来再发行的制作人的只有一个损坏的单声道录音从音乐会的音板。
仅用这一单音频录音，克拉克就能将锡塔尔琴大师的乐器与雨、噪音和几英尺外的手鼓手区分开来。这套套装的联合制片人安迪·扎克斯(Andy Zax)说，结果是“完全真实和准确的”，还有一些气氛仍然混杂在一起。
Zax说:“这种混合的可能性让我们重新获得不可回收的东西，这真的很令人兴奋。”有些人可能会认为这种技术类似于给经典的黑白电影上色。“总是有那种紧张感。你想要重建，而不是把自己的意志强加于此。这就是挑战所在。”
驶向深水区大约在克拉克完成披头士项目的时候，他和其他研究人员遇到了困难。他们的技术可以处理相当简单的模式，但他们无法跟上带有大量振动的乐器，振动是一些乐器和人类声音的细微音调变化。工程师们意识到他们需要一种新的方法。音乐软件公司AudioSourceRE的创始人兼首席技术官德里•菲茨杰拉德(Derry Fitzgerald)表示:“这就是深度学习的发展方向。”
菲茨杰拉德是沙滩男孩的终身粉丝;从2012年开始，他为他们的作品做了一些单声道到立体声的混音，只是为了好玩。和克拉克一样，菲茨杰拉德也找到了非负矩阵分解的方法。和克拉克一样，他已经达到了极限。他说:“我花在修改代码上的时间非常非常长。”“我想一定有更好的办法。”
《连线》人工智能指南超级智能算法不会包揽所有工作，但它们的学习速度比以往任何时候都要快，从医疗诊断到提供广告服务，它们无所不能。
通过涉足
菲茨杰拉德(Fitzgerald)、詹姆斯•克拉克(James Clarke)等人对人工智能的研究几乎与此平行，这呼应了克拉克的原始直觉，即如果人类的耳朵能够自然地将不同乐器的声音分开，那么机器也应该可以模拟出同样的分离。克拉克说:“我开始研究深度学习，以获得更多的神经网络方法。”
他开始在脑海中尝试一个特定的目标:拿出披头士早期热门歌曲《她爱你》(She Loves You)中乔治·哈里森(George Harrison)的吉他。在最初的录音中，所有的乐器和声音都被放置在同一个轨道上，这使得它几乎不可能被操纵。
克拉克开始建立一个算法，对他能找到的每一个版本的歌曲进行训练——电台节目、现场表演，甚至是翻唱乐队的表演。Clarke说道:“游戏中有很多不同的内容，所以我们需要更多的例子去理解游戏的音效。”算法将音频分解成独立的茎，每一根对应一种乐器，但克拉克只对哈里森的Gretsch Chet Atkins乡村绅士吉他有眼睛和耳朵。
在9个月的时间里，克拉克每次只花几秒钟筛选吉他部分，几乎是在逐句手工清理曲目。他听了其他乐器的杂音，然后用光谱编辑软件找到并消除它们。对于最后一步，他开始重新找回赛道的原始氛围。这部分很简单。作为阿比路(Abbey Road)的员工，他可以在自诩为“第二演播室”(Studio Two)预定演出时间，《她爱你》(She Loves You)最初就是在那里录制的。他通过内部扬声器将自己的音乐播放到房间里，然后重新录制，以捕捉房间里保存完好的音响效果的一些细微之处。2018年8月，克拉克首次公开展示了他的人工智能拆分作品。
这个机会是一个售罄的系列讲座，为歌迷们提供了一个难得的机会，走进Studio Two，甲壳虫、平克·弗洛伊德和许多其他乐队在这里录制唱片。游客们被邀请在同一时间演奏工作室的钢琴，来重现《生命中的一天》结束时发出的咔嗒咔嗒的e大调和弦。观众们也看到了未来的景象。
在爆满的观众面前，克拉克播放了披头士乐队1963年的原创专辑《她爱你》。然后，在一片寂静中，他演奏了一段本不可能的曲子:除了哈里森的吉他，所有东西都被移除了。
三天后，Clarke的演示片段出现在网络上。真相者们很快就下了台。不敢相信的发烧友开始在网上论坛上诋毁克拉克。一位名为“甲壳虫”(Beatlebug)的用户写道:“展示这项新技术有多好的演示恰好是错误的，我认为这很遗憾。”
“《艾比路》这样误导人们，真让人难过，”RingoStarr39在同一帖子中写道。
甲壳虫乐队(Beatlebug)、林戈斯塔(ringgostarr39)等人坚持认为，克拉克讲座中的音频片段与这首歌后来的德语立体声版本《Sie Liebt Dich》相比，更容易分离出来。他们坚持认为詹姆斯·克拉克是个江湖骗子。
但克拉克只是证明了一个概念。完善哈里森的吉他曲目“她爱你”花了他大约200小时。他甚至没有试图孤立约翰·列侬的吉他。他承认:“对于项目来说，这不是一个可行的选择。”它远非自动化。但这是可以做到的。确实是这样。
向上，向上，然后离开当法国流媒体服务Deezer发布了一个名为Spleeter的开源代码库时，这个水坝完全崩溃了，它允许业余和专业的程序员构建用于分离和混合的工具。任何人只要对自己电脑的命令行界面感到满意，就可以从Github上下载并安装软件，选择他们最喜欢的歌曲的音频文件，并生成他们自己的一组独立的曲茎。人们开始创造性地使用代码库。当技术博主安迪·拜奥(Andy Baio)尝试使用它时，他很高兴地发现现在创建mashup是多么容易，比如当他跨越主题和比利·乔尔(Billy Joel)的《我们没有生火》(We Didn 't Start the Fire)时。“没有人应该有这种权力，”他在推特上说。
第一代用户正在以创造性的方式进行混合和混合。一些音乐家从歌曲中移除一种乐器，从而创作出他们可以跟着练习的曲目，或者为新音乐生成素材。播客制作者正在清理嘈杂环境中录制的对话。爱好者们正在使用iPad的应用程序和免费网站来制作他们自己的混音或卡拉ok歌曲。日本的几家流媒体服务现在都以正式授权的形式提供声音删除服务，包括Spotify的SingAlong和Line Music，前者的听众可以拒绝歌曲的声音，后者承诺实时分离音源。
除了现有的公司(Audionamix, James Clarke)，最新一家提供专业混合服务的公司是总部位于加州的初创公司Audioshake。
该公司将很快推出一项服务，使音乐版权所有者——包括音乐家和唱片公司——可以将他们的歌曲上传到云端，并在几分钟内下载高质量的歌曲，以便获得电影、广播、视频游戏和其他领域的授权。根据信号分离评估运动(Signal Separation evaluation Campaign)建立的基准，Audioshake在鼓、贝司和人声方面获得了最佳的现场评分。信号分离评估运动是一个由音频研究人员组成的组织，他们跟踪分离技术的进展。
但Audioshake也是第一家发现如何自动隔离吉他的公司，或者更准确地说，是一个单独的吉他。该公司对如何实现这一目标守口如瓶。该公司人工智能研究员Fabian-Robert Stöter表示:“我们细化了深度学习网络的架构，专门为吉他的和声和音色量身定制。”基本上，当用户向Audioshake上传一首歌曲时，该公司算法中的一层会将歌曲的波形转换成数字表示，使人工智能模型更容易找出吉他的结束和其他一切的开始。
为了让它发挥作用，我受邀上传了一些歌曲。在几分钟内，该公司的软件就能够将一个摇滚乐队以吉他-贝斯-鼓-人声三人组的形式演奏的曲目进行分解。在Talking Heads的原创曲目中，大卫·伯恩的12弦原声吉他与蒂娜·韦茅斯的贝斯和克里斯·弗朗茨的鼓声分开(用最小的手工制品)。它同样适用于吉他/贝斯/鼓/人声配置的其他歌曲。但音乐是巨大的，而权力三重奏的形式是一套严格的参数。
在这些参数之外是未被承认的分离边界。《她爱你》的原始录音来自于Audioshake，列侬和哈里森的吉他听起来就像刺耳的幽灵声。詹姆斯·克拉克的体力活仍无法被机器所匹敌。也就是说，Audioshake做到了几年前还无法做到的事情，指明了机器将识别更多乐器的未来。它们可能是不可突破的边界。自上世纪60年代以来，对于几乎所有的制作人来说，录音棚一直是将不同寻常的乐器组合在一起，并产生奇妙的新声音(和字面上的弦外之音)的地方，明确地设计成融合在听众的耳朵里。
但如果这些藏物是艺术品呢?如果一个分裂的尝试在合适的制作人听起来很酷，它可能会成为美妙的新音乐的基础。想想雪儿用《相信》把自动调音变成了流行趋势就像档案制作人Andy Zax所说的那样，“一些16岁的年轻人在PlayStation上制作嘻哈唱片时，会想出一些天才的方法，创造出一个我们从未听说过的声音世界。”
目前，在遥远的歌迷论坛上，大量的实验正在进行，许多同样非官方的唱片也被非官方混音。一些乐迷一直在探索一种可能被称为“伪作”的亚音乐类型，比如将乔治·哈里森(George Harrison) 1968年的原创小样《酸牛奶海》(Sour Milk Sea)与另一位音乐家最近录制的一段录音的配乐融合在一起。(粉丝们对版权声明感到不安是可以理解的，他们通常只发布链接很快过期的作品。)
至于克拉克，他仍在研究准确的人工智能方法，以拆解披头士单声道的音轨。他还创办了一家名为Audio Research Group的独立公司，担任出租分音师。最近，他一直在帮助一个乐队创作一组曲目，这个乐队丢失了所有的母带，只有黑胶唱片。
即使对克拉克来说，许多录音也不能被拆开，特别是当乐器的频率很近或者录音被特别压缩的时候，比如电台广播或许多观众现场录制的录音。他曾试图将一盘来自伦敦的1991年的rem录音带进行分录。“从幽灵的角度来看，这是不够的，它被压扁了，”克拉克说。“你会得到非常模糊的结果。”就目前而言，过去一些模糊的方面将继续模糊下去。但有些听起来会比以往任何时候都明亮。
