现实的视觉语言小小书 XXshu

介绍

通过故事讲述和探索人类文化的历史。最初，媒体是声音，因为故事是围绕火堆讲述的，并通过口头传承而传承。后来，媒体变成了石头或纸上的文字，但故事还是通过演员的声音叙述出来的。随着摄影和电影的出现，人们开始探索一种新的视觉语言。舞台表演的叙事技术逐渐被更新，更强大的技术所取代，例如图像的编辑，取景和合成，使艺术家能够操纵时间和视觉现实，以全新的方式讲述故事。

电影中仍然使用传统的舞台灯光和道具舞台方法，但由于能够将电影片段切成多个部分，并包括顺序完全不同的镜头，因此该媒体在娱乐和讲述故事方面的能力呈指数级飞跃。通过使用数字编辑，合成和虚拟模型制作，这些技术得到了进一步增强。我们已经到了任何虚构或现实都可以真实出现，时空旅行，太空探索，死亡，重生的地步，而从摄影师的角度来看，一切都在可能的范围之内。

随着数字图形技术和摄影技术的出现，现在出现了一种新的数字媒体形式，称为虚拟现实。虚拟现实及其混合的同级增强现实提供了一种新的，更加身临其境的故事讲述方式。从许多方面讲，它们都应该是故事构建发展的终结，它们已经绕了整整一个圈，使得观众可以选择最终成为故事中的演员。但是，有一个问题。摄影语言将电影叙事提升到艺术水平，这在很大程度上取决于电影的二维本质。镜头的画面以及在不切断观众沉浸感的情况下立即从一个视图切换到另一个视图的能力，是优质摄影对故事产生强大影响的关键。甚至剧院也被舞台框住，观众的视野被场景和演员的灯光所束缚。虚拟现实和增强现实的问题是，媒体围绕着观看者，而在增强现实的情况下，它们重叠了周围的世界。

当故事发生在您周围的世界中时，您如何拍摄？您如何控制演员的身份未知的舞台，在他们的工作方式上，在您和故事的焦点之间徘徊，故事的焦点在你们共同的环境中展现？是否有可能拍摄一个针对特定地点的故事并使其在任何地方都可以发生？这些都是在考虑叙事和视觉故事讲述时必须考虑的问题，因为它适用于数字现实。

有人可能会认为这是一个已经解决的问题。游戏是虚拟现实，并且它们具有故事，有时还会应用多叙事故事。到目前为止，游戏和叙事游戏已在带边框的屏幕上播放。已经在虚拟现实中进行了一些尝试，从导演的角度来看，这更易于控制。在与大多数实现了这类数字现实的人们的讨论中，您经常会听到使用“权衡”一词。交互可能仅限于“在轨”方法，或者交互者站在恰好适合故事叙述的平台上。一些更多的“探索性”示例可能会限制用户使用一个角色和一些探索道具，将其限制在单个房间中。将限制应用于大多数虚拟现实体验是有原因的。当视图由查看者控制时，创建沉浸式引人入胜的叙述非常困难。想象一下一部电影，该电影在镜头后显示了导演的视线，却无法从一张镜头切成另一张，而您开始发现问题所在。

通过探索戏剧和电影的视觉故事讲述解决方案的理论和发展，可能有可能发展一种新的视觉语言，使新的媒体得以发展并实现更强大的叙事形式。自故事问世以来，叙事和位置一直被锁定在一起。随着增强现实和虚拟现实的出现，只要有合适的视觉工具集，就应该有可能允许重新叙述与任何位置相关的任何叙述。显然，当舞台或场景根据观看者的位置而变化时，这将传统摄影技术应用于增强现实时的问题放大了。因此，叙述者是谁？她是主角，像传统电影一样的第三人称视角还是电影中的其他角色？这进一步使问题复杂化。但是，鉴于现代电影和数字媒体的强大技术，这些问题并非无法解决。他们只是需要一种关于视觉故事讲述的新思维方式。

叙事与表演研究

当电影首次在电影院放映时，该事件与戏剧作品的制作非常相似。有一个舞台和一个放映电影的屏幕。因此，电影如何讲故事的概念就采用了现场戏剧的方法。当时的一些杰作都采用舞台布景，就像戏剧制作一样。

“ le voyage dans la lune”说明了早期电影在舞台上的明显影响。

最终，电影在摄影和蒙太奇中发展了自己的语言。现在轮到剧院借电影了。 Berthold Brecht的“史诗剧院”及其Verfremdungseffekt（翻译为“陌生化效果”）使用了几个概念，例如剪辑蒙太奇的技巧，动作中断，打破第四堵墙以及对比和矛盾，使观众感到与众不同表演。这些技术的目的是在观众中促进理性的自我反思。 [“ 了解Brecht ”， 沃尔特·本杰明。 1983年。 ]

这些效果类型也可以在数字现实环境中使用，以使观看者可以专注于叙述的预期焦点。与周围的环境相比，场景中的元素可能略有不同或在动作上处于暂停状态，以引导用户进入叙述中的下一个事件序列。在没有其他参照系的环境下，打断观众为布雷希特创造自我反思的事物可能会很好地吸引他们的注意力。

Matrix技术将这些技术应用于虚拟世界，也许是这些技术的最佳视觉示例之一。场景中，老师Morpheus将学生Neo引入了Matrix，以解释系统如何工作。在这次矩阵之旅中，Morpheus穿过一条非常拥挤的街道，一个穿着红色连衣裙的女人（这条大街上唯一的红色东西）路过，Neo分散了她的注意力。然后，Morpheus停止了场景的动作，使Neo可以将焦点转移到所讨论的女士身上，但震惊地意识到她是敌人[ The Matrix，The Wachowski Brothers，1999 ]。尽管场景中包含许多Brechtian元素，但它是一个很好的例子，说明了如何在混乱的沉浸式世界中使用这些相同的技术来吸引注意力。

陌生化的概念可以解释为认为是常见的或理所当然的，并以陌生或陌生的方式呈现。俄罗斯文学评论家维克多·什科洛夫斯基（Victor Shklovsky）宣布这是所有艺术的精髓[ 散文理论，译自“作为工具的艺术”，什科洛夫斯基1991年 ]。正如《黑客帝国》所证明的那样，这个概念也可以很好地应用于视觉叙事的技巧中。

如果矩阵中的红色礼服场景是虚拟现实，并且您在其中，那么从叙述的角度来看，你会是谁？您可以回答Neo，这是显而易见的选择，因为他不讲话，并且正在跟Morpheus讲话。因为您注意到她，所以您显然不是红色女士。但是，还有另一种选择，您可以扮演观察者的角色，通常是在电影和剧院中赋予我们的角色。正如珍妮特·默里（Janet Murray）在她的《 Holodeck上的哈姆雷特》（Hamlet）中所描述的那样，虚拟现实将我们带入了第四壁的边界。在虚拟现实中成为第三人称视角的问题是缺乏互动。您就像是一个观众，在舞台上好奇不已，沉浸其中，但不知何故，除非作者在脑海中写下您的叙述。您可以扮演额外角色或辅助角色的角色，但这是一个有趣的角色，可以利用虚拟现实提供的所有功能吗？

Pixar动画联合创始人Ed Catmull在最近的一次采访中警告说，虚拟现实技术不是讲故事的。他说，尽管虚拟现实可能为游戏带来有趣的贡献，但他认为这不适合讲故事。他说：“线性叙述是故事的巧妙引导，灯光和声音都是为了一个非常明确的目的。您不仅在世界上徘徊。” [ 采访《卫报》。 斯图尔特·德雷奇（Stuart Dredge ）这是他观点的症结所在，虽然有一定的优点，但没有考虑讲故事的历史。他正在将摄影艺术与尚未发现其自身语法的新媒介进行比较。虚拟现实可能会尝试将电影和电影摄影作为叙事媒介，但最终它将发现自己的叙事工具集。另外，卡特穆尔所说的是真的。一个巧妙的故事精心制作，并具有非常具体的设计和线性叙述。在故事世界中漫游的概念似乎践踏了作者意图的概念，但是真的吗？在设计不佳的虚拟现实中，它会，但是，哪种普遍的叙事法则会阻止观看者自由探索故事世界的能力以及作者对故事如何展现的意图？一项“法律”似乎正在起搏。如果在追车场景中，用户停下汽车并打开门看着路边的死动物，则创作者希望创建一个紧张而令人心跳的动作场景本身就会死亡。坦白说，观众必须以作者创作的方式体验特定场景的想法是一种错觉。许多人可能会走出剧院，在影片中间填充爆米花，这与虚拟现实中走动的人有何不同？一旦看到了作者意图的概念是一种错觉，那么虚拟现实在某种程度上不如电影作为叙事媒介的概念就显得更加荒谬。实际上，通过允许用户通过从多个视角探索场景来发现作者的意图而提供的优惠对于作者和观众都是有益的。确实，电影的语言似乎是经过优化的，并且非常讲故事，但是要想像电影的语言是从摄影时代起就存在的，这是谬论。它必须随着时间的推移而被发现。实际上，正如在皮克斯工作的任何人都应该承认的那样，摄影语言仍在不断发展。

考虑一下您的观点，如果红色礼服场景是增强现实。换句话说，如果红色连衣裙出现在您周围的真实世界中，该怎么办？叙事观点在VR和AR中有何不同？完全虚拟的环境和与现实世界重叠的环境之间存在细微但强大的区别。现实世界中存在混乱，真实对象与虚拟对象的复合，真实感官体验和许多意外事件。在增强现实叙事中，有一百万个小东西在创建难以穿透的边界墙。这对于叙述来说可能是有问题的，但是它也提供了能力。一个重要的功能是场景不必完全依赖计算机图形来显示环境。它可以使用周围的环境。该场景将不需要数百个cg化身和AI代理（编程的代理而不是Smith代理）来为其制作动画。只要我们扮演角色，我们就可以扮演场景中任何角色。在虚拟现实中强迫观看者使用替代视点存在一些实际的感知问题，这可能导致身体不适和沉浸感。这些问题在增强现实中不会发生，因为大多数视图是用户身体体验到的现实。增强现实的叙事似乎消除了“艺术指导”故事的概念，但是真的吗？精心设计的故事是否完全锁定作者的意图，使其只能在一个时间和地点发生？这是针对数字现实的视觉语言的讨论重点。许多故事都打算在特定的时间和地点使用，但这仅仅是因为这些故事受到作者意图和创作媒介的限制。考虑一下书中的恐龙，与另一个角色交谈。如果事件发生在晚上，电影导演可以在场景中添加更多内容以填充细节或需要额外的照明。问题是; 多余的光线会影响作者的意图吗？什么样的能力会促使虚拟现实导演为场景创造一些其他变化，从而使他们能够巧妙地为自己的媒体讲述故事？

电影理论

叙述的“主题”是否是不能以多种方式表示的不可变的对象？因此，“主题”是什么？戴维·博德威尔（David Bordwell）在他的论文《电影研究与大理论》中讨论了与电影有关的主题论和文化主义之间的共性。鲍德威尔（Bordwell）讨论了主体性理论，特别是两种系统如何将主体类别与个人类别相结合。主题-位置理论中的主题应该是使知识，经验和身份能够在指称实践中发生的类别。但是，“ 1975电影理论”的大多数拥护者都使用它来指代个体自我以及虚构和象征性领域。作为个体的主体也渗透到文化主义者的理论中。鲍德威尔（Bordwell）描述了将主体转变为可以担当角色的有意识个体的倾向，从而重申了社会主体的自由[ 后理论导论，戴维·鲍德威尔（David Bordwell）1996 ]。为了从作者的角度回答关于主题不变性的问题，我们将假设“主题”既可以是故事中的个人，也可以是故事中所代表的知识类别。我们可以研究“主题”问题，因为它与作者的意图和个人观点有关，以了解它如何受到数字现实媒介的影响。以前面提到的恐龙故事为例，我们可以想象一下要尝试采纳这个故事，并与现代大都市交换环境。让我们假设作者对这个故事的意图是说明两个截然不同的物种之间的友谊的本质。时间和地点的变迁如何影响原始的“想法”？恐龙可能成为商人的朋友而不是穴居人。更有创造力的作者可能会借此机会来说明每天外出打工与穴居人寻找食物的方式的相似之处。也可能会有其他不一致之处要解决，但是如果您今天看大多数电影，我们往往会以一种几乎自动的方式将它们与我们的现代观点联系起来。电影制片人倾向于通过将非人类角色拟人化并在电影中创建文化参照物和术语来使我们与这一过程自动化，从而进一步与目标受众建立联系。细心的读者可能已经注意到，在这一点上，我故意使用“想法”一词代替了故事。什么是故事，但告诉一组想法以说明更多想法。显然，改变叙事的地点和时间会改变叙事的机械结构，但是会改变观念吗？文化主义者可能会说确实如此。主题立场的批评家可能会辩解说，无论如何，练习的目的都是要实现像现实世界一样的故事具有对它重要的部分和相对且易变的部分。这种行为开始看起来像20世纪初导演关于电影及其通过使用摄影术和效果记录下来的改变感知现实的能力的启示。

新媒体理论

列夫·马诺维奇（ Lev Manovich）在他的《 新媒体的语言》一书中讨论了数字媒体作为数据库和算法的基本要素。他将其与早期电影作品进行了比较，例如Dziga Vertov的“带摄像机的男人”，其中，Vertov剪切镜头并将其布置在大型网格状结构中，以计划和编辑他的媒体，使其成为新的叙事。此外，Vertov使用蒙太奇和“ kino eye”元素来更改原始镜头的图像，从而创建一种视觉语言，从而使看似随机的镜头数据库能够讲述一个故事。马诺维奇指出，叙事的线性结构和数据库的非线性结构似乎是矛盾的，但实际上，线性叙事实际上只是通过叙事的表述数据库的一切路径（叙事世界中的所有事物）。为了说明他的观点，马诺维奇采用了费迪南德·索绪尔的共济会和范式概念，后来罗兰·巴特斯（Roland Barthes）进一步扩展了这一概念[ 作者之死，罗兰·巴特斯1967 ]。马诺维奇描述的线性叙事是作者范式的整个世界的线性，线性路径，是作者可能描述的所有想象的路径[ 新媒体的语言，马诺维奇，2001 ]。这比任何其他概念都更好，可以在数字化构造的现实中描述观众的选择。因此，虚拟现实必须是作者的虚构或范式，而用户的路径变成了通过观看者的互动和作者在引导观看者寻找其情节中的主要角色的路径上的技巧而探索的叙事或共形。观众是遵循作者的指导还是探索故事的其他要素的小径变得无关紧要。事实依然存在，叙事存在，互动性更强的叙事世界存在，观众可以将其中的内容读入其中。这不是一个新概念。读者/查看者一直是驱动程序，而作者只是一个有用的指南，几乎总是这种情况，为他们提供了一张地图，让他们可以探索世界。一些作者比其他人更有能力，给人一种幻想，即他们完全指导观众。一些读者不太愿意偏离作者所创造故事的路径，但仍然对故事有自己的解释。新媒体只是带来了现状的交换，作者创造了一个范例，读者选择了他们选择的象征性路径。在数据库故事世界成为作者为自己的幻想世界创建范式规则的主要工具的情况下，由观看者执行的对该世界的规则的算法解密成为观看者的巧妙指导。

作为叙事媒介的增强现实和虚拟现实

与数字媒体的数据库和算法性质以及虚拟现实和增强现实相关的叙述能力是什么？在20世纪初，电影制片人开始创造自己的视觉语言和技术，使他们能够改变他们可以讲述的故事的性质。例如，可以剪切一系列线性事件并对其进行重新排序，以创建对故事和事件顺序的完全不同的理解。假设可以将有关特定时间和地点的所有内容记录为一系列事件和媒体元素。这将使作者能够将数据库重新排列为任何顺序，并根据每个新的事件序列输出各种故事。这是电影与叙事相关的优势和本质。但是，胶片确实有其局限性，因为必须对其进行处理，并且只能从特定角度拍摄。电影的取景框切断了故事环境元素的潜在视角，因此，摄影大师成为一名艺术家，以其在每一帧中都能创作出杰作的能力而闻名。那是电影和电影的教条。除了摄影师所构图和选择的视图外，别无其他视图。当然，这是一个谎言，考虑到剪辑室地板上留下了无数小时的镜头，这些镜头又回到了“更好”的“原定电影”导演剪辑中。显然，虚拟现实的身临其境的本质使观看者成为摄影师，在专业人士的指导和视觉欺骗下，专业人员可以使用界面和视觉语言元素来指导观看者发现自己的最佳视点。这就提出了一个有趣的问题，即摄影师的巧妙指导是否是每个人的最佳选择，还是这是独裁者试图将自己的世界观强加给每个观看者的命令。借助VR / AR，权力将交还给个人，导演/作者在其故事世界中扮演着精湛的向导角色。

VR / AR给个人提供了比他们已经拥有的更多的叙事控制能力，同时使摄影师可以自由地释放框架，并尝试将世界视为一个更加巧妙的现实。当然，这给媒体带来了一些非常沉重的陷阱和问题，考虑到其令人信服的输入，实际上会使观众感到不适。例如，摄影师可以自由地在远处建立镜头，并使角色飞向他们打算场景的特写视角。他们甚至可以选择锁定镜头，通过窗户将镜头悬停在离地面30层的地方。这些巧妙的方法在导演和听众身上都充满了标志和符号。然而，这些相同的技术在数字现实中变得成问题，因为它们可能破坏观看者的沉浸感和与场景的物理接触。电影中鹰眼般的视角成为现实中意想不到的眩晕感。如果没有使用允许飞行的平台等道具或化身，似乎没有办法改变这一点。这些变通办法开始通过机械“过滤器”权衡潜在的世界规则，这些“过滤器”将用户的想象力束缚下来并限制了作者的设计。至少在我们跨入Matrix并相信像Neo一样，我们可以跨过秋天并且飞行自然之后，这种像电影的构图视图就成为数字现实的优势/劣势。语言受规则和限制的约束，当规则被打破且限制被遗忘时，语言就可以理解并产生惊奇感。正是这些技巧的巧妙操纵使摄影师与家庭摄影师脱颖而出。出于这些原因，数字现实的视觉语言将更多地依赖于Vertov的“ kino eye”之类的效果以及诸如魔术师在舞台和现代剧院中使用的视图操纵的替代形式，以便巧妙地引导用户通过场景。

在虚拟和增强现实中，如何将观看者从确定的镜头引导到场景的所需焦点？显然，在虚拟现实中，存在“ on-rails”方法，并且许多VR叙述都已经采用了该技术。这是一种方法，但是严格限制在一种介质中，该介质应设法消除对观看者的限制。另外，由于不能将用户约束在现实世界中，因此该方法不适用于增强现实。然后，您将如何带领观众到达增强现实场景的焦点？如果可以解决此特定问题，则可以设置数字现实视觉语言的框架。解决方案包括用视觉覆盖或路径引导观看者，这与电影中用于引导观看者眼睛到帧的期望焦点的微妙的躲避和燃烧不同。还有3d声音的可能性，它可以使场景中的道具或角色能够唤起观众的注意力。此外，可以通过以下方式控制场景的合成，以使焦点元素可以是场景中唯一的彩色元素，而场景的其余部分可以是黑白的，直到观看者移动到场景的外围为止。镜头。现在，探索的方法开始显得更加巧妙，类似于电影从黑色中淡出，虹膜紧贴电影中场景结尾处的主要角色或聚光灯来突出舞台上的讲话角色。可以说2d电影的帧成为3d场景的边界。然后，在这种情况下，为摄影构图的框架就变成了为虚拟现实和增强现实建立边界或可能的边界的技术。

关于数字现实的数据库的其他功能呢？电影提供了记录“定型”时间的能力。虽然现实有空间，但与之相关的时间只会向前发展。根据观看者的知识，现实中该位置的历史被掩埋或遗忘。电影的线性因果关系可以向前和向后查看。可以倒退现实吗？是的，也许还有更多。人类文化开始为大量现实建立时间和空间数据库。 Google Earth，Google Street view和YouTube以及GoPro之类的相机相结合，很好地说明了我们人类希望尽可能详细地记录和分类现实。虚拟现实尤其是增强现实的一种未被充分利用的能力是能够利用不断增长的现实数据库并使用它来构建叙述。让我们想象一下，数字媒体革命是在创建胶卷相机时开始的，并且自那以后我们可以访问与世界地图相关联的空间数据库（类似于Google街景视图）来访问所有创建的媒体。虚拟的Auteur可以采用一种人工智能算法，该算法能够解析空间和时间的记录，并根据其当前位置使用该算法为个人构建叙述。显然，创建这种类型的工具需要进行大量工作，但是构件已经存在，并且叙述和视觉语言的潜力是巨大的。这是我认为虚拟现实和增强现实的概念最终会融合为一种能够同时提供两种类型输出的媒介的原因之一。数据库驱动的增强现实叙述有太多令人信服的用途，以使其无法发挥虚拟现实的作用，而后者的作用不那么有用，但更强大。您可以将其与剧院电影与Netflix和Youtube的组合观看之间的区别进行比较，然后根据动作和效果序列将观看部分分成不同的观看片段，然后重新排序为可以想象的任何组合故事。

从内容的角度来看，提供大量的重组媒体是非常有用的，但是这对于所提出的数字现实视觉语言意味着什么呢？这些类型的输入成为驱动数字现实的合成效果的规则的基础。现代电影特效的创作很大程度上依赖于3d数据。数字现实合成也是如此。为了将对象插入世界场景，合成器需要一个3d参照系。利用地理空间定位和3d数据的数据库（例如来自Google Earth的建筑物），可以实时创建与增强现实电影中发生的相同类型的合成。除了使用定位，地图绘制，人工智能和计算机视觉工具外，还可以在现实世界中查找和跟踪与导演的场景预期位置很好地映射的位置。例如，想象一下某个场景需要建筑物的拐角处和一条小巷才能在视觉上正常工作，就像某些AR导演人类或AI所想象的那样。可以通过算法和数据库跟踪和找到最接近该要求的最佳匹配项，从而使“视觉语言”的其他元素能够将用户引导到该位置，以便将场景布置在它们周围并继续讲故事。或者，可以将场景构建为适合周围环境，或者在虚拟现实的情况下完全构建场景。

结论

应当指出，本文有许多假设，并选择了一条非常具体的路径来探索增强现实中叙事的视角。选择该选项的原因是将问题和答案推送到更复杂的场景中。这样的假设是，如果增强现实中有可能，那么在虚拟现实中就很容易实现，因为作者可以更好地控制故事世界，并且可以像电影导演选择场景和镜头一样精心制作。两种媒体的目标都是考虑电影的语言和新媒体的语言，以便考虑他们可能制作什么样的混合儿童。

毫无疑问，虚拟现实和增强现实是否是一种强大的叙事媒介。媒体讲故事的方法存在有效的关注和考虑因素，与电影和视频游戏等其他媒体发现自己的语法之前必须经历的初始学习步骤没有什么不同。本文讨论的技术的潜力，特别是AI及其驱动这种新的视觉语言的能力，对我们整个文化具有深远的影响。正如过去经常发生的那样，出现了新的媒介并改变了文化消费艺术和娱乐的方式，这改变了文化创造艺术和娱乐的方式，然后继续创造了全新的媒体形式和新媒介来探索。从这个角度来看，很容易想象一个未来，一个人可以走过一座城市，体验一部关于他们所走过的街道的埋葬历史的纪录片，而不仅仅是一个线性的硬编码，每次都讲述相同的故事，而是一个叙述每一步都变得与众不同，并带动观众。沿着记忆小道旅行开始的步行可能会成为晚餐谋杀之谜，或者穿过公园的步行和莎士比亚戏剧，如仲夏夜之梦。我们不会以今天体验这些独立事件的方式来看到它们，而是将其视为由用户及其所掌握的所有内容驱动的一种连续的现实流。

罗兰·巴特斯（Roland Barthes）在谈到作者的假设死亡时写道： “我们知道文字不是由一行文字组成的，而是释放出一种单一的“神学”意义（作者神的信息），但存在许多空间各种形式的作品相互纠缠和争论，其中没有一种是原创的：文本是由数千种文化来源产生的引文组织。” [ 符号学要素 ，Roland Barthes 1977 ]。当书成为戏剧时，这些话语的真相可以在各种媒介和时间上看到，然后成为电影，并转变为现代世界上的电影，然后转变为音乐剧或游戏，从而重新开始循环。创造力和想象力以及适用于媒体的视觉故事讲述的标准词汇，是阻止在数字现实世界中进行巧妙叙事的唯一限制因素。