最近在增强现实(AR)和虚拟现实(VR)的发展是开放的代表性和互动的新的,前所未有的方式。

虚拟机构,具有任意的行为,不一定依赖于物理定律,可以连接到任意的功能,从实时图形表示控制界面和虚拟仪器设计形式跨越。此外,这些方面不必被分配到不同的对象;它们可以存在于同一个身体。因此,符号,声音,手势及其相互作用可以一起在同一实体坍塌,提供音乐表达的新形式。

我正在探索主要是通过三个不同的方面这些可能性:

线性: 基于通过AR和机器学习的组合提供了可能性,实时创作和表演的环境。的应用,通过iPhone或HTC万岁表演者使用的,允许在空气中吸取永久手势。那些手势被链接到特定的声音和音乐简档(结果的范围可以从简单的旋律到先进的实时声音合成)。在AR附图被镜像到的投影仪,其读取由其他表演者的图形表示法的一种形式。

synesthesizer:在 synesthesizer 是一种基于颜色识别和机器学习音色合成。它是由通感的原理,即,当通过一个感知觉是不自主扩展到其他感官启发。更具体地说,我们正在解决chromosthesia(也称为声音到色彩联觉),即由听到的声音引起了颜色的无意识的经验。的主要思路 synesthesizer 是使用的颜色的连续光谱,以探讨在声音的连续光谱。它在VR空间的实现也将允许更富有吸引力的互动,以创建实时的虚拟对象。该工具是非常简单和直观,开放由未经训练的音乐家使用。

arscore: 本研究探讨谱写像钢琴或打击乐如锣,TAM-TAM和雷鸣器工具扩展技术的新途径。应用程序允许姿势的表示(通过投影到仪器的表面全息图)寻址到特定的结果。该应用程序允许代表对仪器的姿态,避免了记号的纸面上的过于复杂的技术性什么涉及一些特定种类的扩展技术的更简单,更非常具体的方式。

 

portale,现场elecgtronics和增强现实环境

 

在这个多媒体组合物中,小TAM-TAM既是乐器和一个门户。它是虚拟和现实世界之间的桥梁。它是从其中一个生物出现,敏捷和难以捉摸存在门。所述组合物的结构根据不同的形式的关系的生物与真实表演者建立铰接:它可以是一个字符(到处移动并且几乎作用),表演(它起着一些音乐通过与虚拟对象/接口交互) ,符号的形式(“跟我学”,它要求的表演......然后指明了对TAM-TAM做);在某些情况下,它遵循表演者的手势,作为一个“尾巴”,在空气吸入。现实和虚拟世界在这里融合以不同的方式,与两个不同的对立面之间不同的平衡。我们看到无论是门户网站的侧面。这件作品是一个研究的结果,通过使用增强现实的,那里的实时3D图形和动作捕捉组合有潜力给的音乐性能的新方法的研究,重新设计我们对现实的感知,我们的表现它和我们的能力与环境进行交互。尽管程度不同,所有的声音从TAM-TAM通过多种形式的声音处理,这可以扭曲音色,直到它无法识别而获得(或在少数情况下,其他铁琴)。因此,声音本身就体现了虚拟与现实之间的不断打造出的关系。所有的声音和视觉效果(包括照相机开关)现场生成。

//www.giovannisantini.com/rencontres

 

在详细信息: //www.giovannisantini.com/research

额外的项目图片
2018