在共置虚拟现实中工作

虚拟现实通常是一种孤独的体验。 一个人独自坐着,戴着耳机,环顾四周,谁知道谁知道,而其他所有人看着他们,思考着他们何时或是否转弯时会显得多么愚蠢。 节日持续了很多沮丧的人们,想知道他们是否在选择上犯了错误。

Flock是一项共享的,身临其境的体验,它是由三至三十名参与者组成的不断循环的观众群体而创建的,最近在纽约市的故事讲述节上首次亮相。 Flock是一个舞会,一场比赛,一个沙盒和一个参与故事。 据我们所知,这是有史以来最大的同时VR体验,也是节日上提供的最高VR体验(三天内超过700名参与者)。

我发现尝试Holojam体验与听到体验之间的差异是巨大的,我认为重要的是设法弥合这种鸿沟,并弄清楚这种艺术形式将产生多大的影响力和革命性。
到目前为止我学到了什么

当我开始使用DK1时,我的最初直觉是将动画知识扩展到虚拟领域。 我坚信必须严格控制节奏,才能使听众沉浸在叙事中,而我从来没有野心创造互动艺术或游戏化叙事。 相反,我想营造一种气氛,使之漂浮在高度结构化的叙事短裤中。 我在纽约大学的工作大大改变了我的想法。
我不再考虑传统的讲故事而使用VR,而是开始考虑使用精选的沙箱。 沙箱可以通过视频游戏和学前班以外的其他方式进行游戏和表达。 电子游戏不允许全神贯注,如果您尝试参加幼儿园的活动,可能会被捕。
霍洛贾姆

Holojam是一次完全变革的体验。 物理,跟踪对象与交互式虚拟对象共存。 参与者将彼此视为化身,并且可以彼此互动。

Ken Perlin发明了Holojam。 他是获得奥斯卡奖的计算机科学家和艺术家,他的作品几乎涵盖了旨在生成图像的每个软件包的精髓。 我从2013年开始与他合作,而我与他人共享漫游虚拟空间的第一次经历是一次不断扩展的心得。
结合了动作捕捉,网络和游戏设计中的技术来使“大骗局”发生。 虚拟对象可以通过物理模拟或行为引擎来控制。 可以保存和重新加载它们的状态,以便共享持久世界。 头像采用程序动画技术构建,不需要全身运动捕捉服。 如果跟踪头部和手,则可以填充脚和腿。 可以使整个身体以跟踪的头戴式耳机对用户下方进行动画处理。 头像可以通过间接方式进行映射,从而允许参与者以夸大的比例体现非Biped。

我们一直在使用Holojam研究人们沉浸在共享虚拟空间中时的小组行为。 作为一名艺术家,对我而言,最令人鼓舞的是媒介在VR中彼此互动时的兴奋和不拘一格。 显然,新颖性是创造这种兴奋的重要因素,但我认为,这也表达了我们所有人都必须摆脱自己的个性,看到过去的差异并成为比自己更大的东西的一部分的愿望。 这次体验使人们可以窥探一种新的但尚未命名的艺术媒介,即同一地点,房间规模的混合现实沙盒事件。 代替较为冗长的描述,我将将此元素的特定集合简称为Holojam 。
群

弗洛克(Flock)诞生于渴望为人们创造一个共同移动的空间的渴望。 体验的细节并不像它们如何激发互动那样重要。 最初的想法使我考虑使用植绒模拟来鼓励个人沿着预设的飞行路线行驶。 二十年来,植绒行为一直是计算机图形学中创意代码的主要内容。 克雷格·雷诺兹(Craig Reynolds)定义了一组简单的规则,这些规则导致了令人惊讶和复杂的紧急行为。
从Craig Reynolds网站:
隔离:避免拥挤当地的羊群。
路线:转向当地船东的平均航向。
凝聚力:转向当地的同类人群的平均前进方向。
这些规则可以应用于人类行为,甚至我们的神经机器。 鸟类无法想像它们正在参与的羊群结构,而神经元则不知道这是什么主意。 感觉良好是大自然引导我们的方式,当团体使我们变得更强大,更有韧性时,团结起来并参与比我们更大的事情会感觉很好。

在古老的仪式中也可以找到类似的经历,个人可以摆脱身份并体现动物的精神。 日常生活不会邀请这种角色扮演,这是有充分的理由的,但是有了机会和安全的空间,人们比他们更愿意改变自己。 霍洛贾姆(Holojam)是个人的服装,也是整个世界的服装。 这就使自己明显脱离了自己的体格范围,并导致了一个令人惊讶的非判断性空间,个人可以在此刻自由地表达自己。
UX
羊群是渴望学习如何鼓励人们使用视觉和听觉线索的组合以协调的方式在空间中移动的愿望。 这个想法是要以最简单的方式利用最好的VR技术,以对观看者产生最大的影响。 我不是从内容开始,而是从那里开始向观众展示,而是从我希望观众做的事情以及我希望他们如何移动并逐步发展为内容开始。
鼓励运动的最初概念是在计算机上运行植绒模拟,然后沿这些预设路径引导个人。 将向每个用户展示一个紧密的光线隧道,他们将需要穿过并跟上以达到植绒效果。 尽管我仍然相信这可能会带来一些有趣的结果,但它需要经验丰富的用户具有一定程度的信任和胆量才能使其发挥作用。 取而代之的是,我们选择专注于UX设计,这将使经验不足的参与者具有较高的容忍度。

我们尝试实现的第一个想法是,一只母鸟飞过空间并掉落用户需要收集的食物颗粒才能通电。 对母鸟的吸引力的一部分将是跟随在她身后的明亮的螺旋光。 成功的植绒意味着从母鸟身上形成一种分支的康茄舞。 当您面前的每个人都在吃东西时,他们会将食物从他们的后脑中沉淀出来,放入您的等候口中。

另一个想法是将最有成就(就吃的虫子而言)的鸟变成母鸟,它们可以带自己的羊群飞来飞去。 在这种情况下,将存在许多错误。 存在于太空中的虫子只有成年的鸟才能吃,而其他鸟的脑袋中只有年幼的鸟才能吃到的虫子。
重现鸟类的整个生命周期也意味着探索繁殖的可能性。 羊群有一个出生巢,一个死亡巢,在一个版本中,它还有一个婚礼巢。在这种情况下,另一只鸟将成为您的伴侣,您需要寻找该伴侣。 当用户面对面并镜像彼此的动作时,奖励就会出现。 奖励包括使鸟类的面具变得更大,更华丽,更紧密地指向带有孔雀羽毛的巴厘岛恶魔面具的方向。

我们能想到的最简单的方法来鼓励人们在太空中穿行,是使用类似于“空间填充算法”的概念-完全按照您的想法去做。 我们在空间中填满了那些可能不会出现在鸟类身上的错误。 这意味着任何想吃的人都不必等到虫子落在他们身上后再食用。 我们最终在我们的首次用户测试中使用了此工具,事实证明它是可以原谅且有效的。
人

用户最初在这个领域非常尝试是很常见的。 虚拟空间中没有地板,就进入物体而言,尚无法立即弄清安全功能是什么(这些功能很快就会变得明显)。
如您所料,不同的群体有不同的动力。 在大多数情况下,当人们热身到稍微迷失方向的空间时,他们的觅食变得更加大胆。 Squawkers发现互相叫鸟是最有趣的事情,而且不一定在乎虫子。 竞争者认为吃虫子是一项竞技运动,并努力获取尽可能多的东西。 推动者只是享受穿越太空的过程,一旦有了一定的信心,他们便将开始跨越世界。 交互器主要集中在其他鸟类上。 他们会跟随其他人,并且总是被喙吸引而来。
当我可以为人们创造愉悦的体验时,我的某些部分会被救赎。 我失败的次数多于成功的失败次数,但如果能看到观众脸上的笑容表明我有一段时间会幸福地犯罪。
未来

在介绍了这个项目的一周后,我使用了Scott Garner与MAE和Oak乐队出色的Jacob Marshall共同创作的工具,在Vive上进行了实时3D绘制,该艺术家目前正在百老汇演出Hamilton中出演。 该图形已在WebVR中“投影”到一个房间,房间里有700多人在看纸板。 该模型提供了一种新的表演或节日体验的可能性,用户可以使用自己的手机进入,访问网站并共享正在实时创建和修改的世界中的空间。

关于Holojam媒体的这一小部分,还有更多值得探索的地方。 未来的版本可能需要30到40分钟而不是7分钟,它可以启用实时DJ或结合许多不同种类的动物。 Ken的下一个愿景是大幅降低房间规模跟踪的价格,以便这些事件可以在任何场所甚至在家中自发发生。 就艺术能够治愈和联系而言,Holojam是促进此类体验的强大媒介。
谢谢
没有肯·佩林(Ken Perlin)的愿景和纽约大学媒体研究实验室的支持,这一切都不可能实现。 Melcher Media和参与“未来叙事”音乐节的每个人都提供了使用相对未经检验的技术和未经检验的创意冒险的场所,手段,愿景和信心。 蒂姆·法恩(Tim Fain)和朱利安·米尔(Julien Mier)为这一过程带来了强大的创造力,激发了最终的视野,并为这种体验的催眠和高涨感觉负有很大责任。 一长串的志愿者使一切顺利进行,而我的主要合作者为艰苦的工作带来了急需的精力。
制作人: Object Normal和Holojam,并得到NYU / MRL的支持
创建于: David Lobser
音乐制作人:蒂姆·法恩(Tim Fain)和朱利安·米尔(Julien Mier)
首席3D艺术家 :方莉莉
代码/ UX:克里斯托弗·罗梅罗(Christopher Romero)
套装和服饰 :Corinne Brenner
项目管理 :杰西卡·菲奥里尼(Jessica Fiorini)
霍洛贾姆(Holojam):
校长 :肯·佩林,迈克尔·金,大卫·洛伯
车队 :塞巴斯蒂安·赫舍(Sebastian Herscher),亚伦·高黛特(Aaron Gaudette),兰文博(Wenbo Lan),张丹(Daniel Zhang),斯科特·加纳(Scott Garner)
特别鸣谢: Peter Kellogg,Jess Bass,Katy Yudin,Laura Roumanos,Charles Melcher