舞者化身钢琴师——雅马哈实现人与人工智能(AI)同台演出

科学 技术

1月31日,雅马哈株式会社公开了一段英文版视频,视频内容为去年11月下旬在位于东京上野的东京艺术大学奏乐堂举办的音乐会“舞 飞天游”(主办方:东京艺术大学、东京艺术大学COI基地)的一部分。被《纽约时报》誉为“令人惊叹的舞者”的森山开次出演舞蹈部分,与世界级的乐团同台挑战了“将舞蹈动作实时转换成钢琴曲”。雅马哈方面宣称“通过灵活运用AI,将人类的动作实时转换为音乐表现成为了可能”。

该公司自2015年起,加入了由文部科学省和科学技术振兴机构(JST)发起的《引领突破性创新项目(COI STREAM)》基地之一的“东京艺术大学COI基地”,此次合作也是该项活动的一部分。

音乐会上亮相的是《舞 飞天游》,由松下功(东京艺术大学副校长)作曲的《飞天游》为此次音乐会重新编曲而成,雅马哈公司制造的具有自动演奏功能的钢琴(Disklavier™),可通过其正在研发的“舞姿识别钢琴演奏系统”,演奏出与森山的舞姿相呼应的旋律,完成与柏林爱乐乐团的同台演出。

该系统基于佩戴在人体上的4种感应器(伸缩、肌肉电位、加速度、旋转)所获取到的信息,通过AI对动作进行即时解析,然后将与舞者动作相关的演奏数据传输给钢琴,以实现将舞姿转换为音乐。

对此,森山表示“在感受到‘用舞姿进行演奏’的同时,在一些瞬间比以往更能意识到‘要将舞姿展示出来’,这种感受十分新鲜有趣。在人工智能将我的舞蹈转换为音乐的过程中,我再一次感受到了人类了不起的‘察觉思想和行动’的能力”。柏林爱乐乐团Scharoun Ensemble的演奏家Peter Riegelbauer表示:“虽然我曾经多次演奏过《飞天游》,但舞蹈与钢琴结合的《舞     飞天游》还是带给了我耳目一新的感觉。能够参与这项了不起的尝试,我觉得非常荣幸”。

雅马哈方面,研究开发统括部第1开发部的田邑元一部长表示:“人工智能或许可以成为‘人与乐器之间的桥梁’”,并且希望未来能够更加自由而直接地将人类的表现传达给乐器。

撰文:客观日本编辑部(三木)

转载自客观日本

相关链接

音乐 人工智能 AI 雅马哈