这是「游戏电影的交叉路口」系列的第2篇，主要根据我发表在MDPI Computers上的文章「Viewer’s Role and Viewer Interaction in Cinematic Virtual Reality」改编而来。原文作者还包括我的导师 Rob Lindeman 和 Holger Regenbrecht。
概述
在第1期的文章中我提到，360视频这种沉浸环绕式媒体出现之后带来的第一个挑战——叙事悖论（narrative paradox）；展开来说是「观众希望自己选择观看方向的自由」和「导演为保证叙事效果而期望对观众行为的绝对控制」之间的矛盾。为了解决这个矛盾，早期的研究者们进行了一些尝试，其中包括提出应该给这个观众一个「身份」，并从电影拍摄手法和语言中借鉴了布景和运镜的手法，在传统电影的「景别」和沉浸式环境中的「距离」之间寻找联系；还有另一些研究者则注重于如何在360沉浸式的叙事环境中有效地引导观众的视线到导演希望观众注意到的东西上，包括像电子游戏中所使用的箭头、路标等额外元素，或「直接使用真人角色的日常动作」来吸引观众注意力，等等。这里首先补充一个专业名词叫做「Cinematic Virtual Reality」，简称为CVR。在最开始拎出这个概念我认为是很有必要的，我最近看了一场国内一些VR领域相关的大V们讨论威尼斯电影节XR单元的作品的一场直播，几位大V们一上来就先纠正了媒体和主办方很容易误用的一个词「VR电影」，指出「VR」和「电影」均为一种叙事的媒介形式，把他们接在一起用是错误的，并不存在「VR电影」这样一种东西。考虑到VR是一个很宽泛的媒介，除了叙事之外，还可以用于游戏、教育、培训等等，我们又将专门用于叙事的VR加上前缀，称之为Cinematic VR，在中文中比较接近的翻译方法应该是「VR叙事」或「叙事VR」，指的是以VR这种沉浸式的媒体为介质，讲述一个完整的故事，有开头，有过程，有结尾，主要目的为引起观众共鸣或传播知识，而非纯粹为了猎奇，这样的一种体验。在以下的内容中我所提及的「360视频」「沉浸式」「VR叙事」等等均为此含义，因此我将统一使用「CVR」这个缩写（也是我在原论文中使用的词汇），以避免产生歧义。
但是纵然这些研究，我意识到一个问题——这些解决方案的焦点都在「导演」身上，而忽略了观众作为「互动者」在沉浸式媒体中的重要作用。比如上面所提到的内容创作者借鉴电影拍摄的手法，在制作CVR内容时，进行了专门的思考，设计了核心内容的布局，考虑了故事内容的空间和时间密度等等。但这些过程中，观众的角色作用并未被考虑进来，尤其是沉浸式交互叙事中，观众的互动也是叙事的一部分，这一点竟然被忽略了。我猜测其中一个原因是，创作者大多沿用了影视作品拍摄的思路——电影导演并不需要考虑观众的状态和动作，因为他们很清楚地知道，电影院中的观众一定会坐在固定的位置上望向固定的长方形银幕——这是目前所有电影既定的观看方式。但这显然是有缺陷的，在第1篇中我们就阐述过，当一名观众坐在（可以旋转的）椅子上观看360全景内容时，ta是可以自由转头查看的[15,16]，意味着现在在观影体验中（虽然并不能确切地称CVR内容为「电影」，但考虑到中文词语的延续性，我这里依旧称之为「观影」），「当前让观众看到什么内容」这一选择权，从导演手中换到了观众手中，也改变了观众原本「完全被动」的状况[17]。同时，和电子游戏等亦不同，CVR内容的观众依旧不是一个「全身投入」的参与者，CVR内容依旧和电影类似，是一种「偏欣赏」型的体验，观众所能够触及的交互依旧是有限度的[18]，观众的核心需求依旧是「欣赏一段故事徐徐展开」[10]。而且在相近的的领域中，围绕观众展开的交互设计亦很少，这与网页/移动平台上丰富的设计讨论形成了鲜明对比。内容创作者很少提及在沉浸式媒体中观众交互体验设计，比如他们应该是用什么样的交互形式，是用什么样的辅助设备，以及应当以什么样的方法让观众意识到他们是有交互的主动权里的，并且自然地使用这种能力。而有些讨论即使存在，也是围绕如何让观众变成「玩家」而进行[19,20]，这显然又是不大正确的，因为要让观众变成「玩家」进行高度自由的动作，既需要复杂硬件的支持，又对观众本人有较大的身体负担要求，并不适用于CVR沉浸式内容的情形。综合来看，我们遇到的一个情况是，CVR内容所需要的「用户交互」正好落在电影和游戏中间，比传统的电影多了交互，同时又未达到「头号玩家」那种境界。
为了进一步探究这一交界处所悬而未决的问题，我去查询了关于互动叙事和沉浸式内容相关的已发表的论文。经过筛选之后，我选择了其中较为相关的41篇，分别涵盖了360视频、CVR叙事中用户的角色、用户交互、设计叙事方法本身的交互设计等相关内容。接下来的阐述就是基于这些论文的研究成果来综合进行的。
从电影银幕到沉浸式媒体
这一章我们主要讨论一些针对CVR进行的用户体验设计和系统设计。研究者们曾尝试将电影方面的拍摄思路移植到CVR内容创作中来，包括那些镜头手法，布景的思路等等。这一部分的核心思路是围绕「CVR中观众所承担的角色和对应的感受」所展开，一共分为「定义CVR中观众的角色」，「在CVR场景中相机、演员和其他故事相关元素的布置」两部分。这在第1篇中已经有过阐述，因此不再详细展开。我们主要来看CVR中关于交互程度的选择。
如前所述，在CVR中，观众不再是一个被动的旁观者，而是一名「参与者」，是故事的一部分（也可以直接说是故事的角色之一）。此时观众就会产生与故事世界中的人物和环境产生互动的念头，在潜意识里想要对这个虚拟世界中发生的事情产生影响[1,30]。因此相比于其他叙事媒体，CVR中多了一项需要创作者们考量的参数——观众的互动。在CVR这个语境下，这里的「互动」指的是用户的行为对叙事过程本身所产生的影响[35]。互动的具体形态因系统而已，一方面取决于系统本身的软硬件设计，一方面取决于该具体的叙事体验所希望达到的目的。
针对这一变化特性，我们想要提出一个「互动性光谱」(Continuum of Interactivity)，来将各个不同CVR案例中的互动形式进行划分和归类。该光谱所涵盖的维度是CVR中观众互动性的「强弱」，或者说观众具有多大的「互动自由」以及「互动能够产生多大的效应」。在光谱上我们进行的划分包括「极其有限」、「有限」、「中等」和「较高」。我们会把所讨论的各论文和各作品中涉及的CVR项目按照其观众互动性的高低一一排列在这个「光谱」上，然后逐项讨论。
无任何互动
CVR最简单便捷的形式就是传统的360视频。类似于电影观众都是坐在电影院里看银幕，360视频的观众通过VR头盔或者传统的屏幕（比如手机和平板）来观看。不论哪种情况，用户唯一能做的动作就是选择观看的方向。在传统的360视频中，观看方向的选择不会对叙事的进行有任何影响。创作方也不会针对观众的这一行为作出任何响应式的设计[13, 24]。所以我们可以说，传统360视频的观众手中是没有任何实质性的互动的。所以他们被放在光谱的最左侧。
互动的幻觉
除了直接为内容创作者或者观众提供互动解决方案，在CVR研究的早期，有些研究者还另辟蹊径提出了「互动幻觉」这一针对CVR中观众为第一视角直接观察故事环境的特性而设计的方法。其目的在于，真实的互动尚无法达成时，如果可以给观众提供「产生了互动」的幻觉，那么观众主观的沉浸感受也会提高[43]。比如Baobab动画社早期的作品Asterioids中，有一个机械狗的角色就会做出如同「在模仿观众左右歪脑袋」的动作，而事实上这只是导演使得一个小把戏，当时用于观看360视频的播放器软件本身并不能获知观众头部的倾斜角度和动作状态。但是这种「镜像模拟」的动作却给了观众一种错觉，以为自己的动作被机械狗所模仿，以为自己的行为影响了故事环境中的角色，进而沉浸感和真实感受明显提升。Dooley在他的文章中[3]也指出类似的策略——如果内容制作者可以进行设计故事情节的推进并在其中预留好伪装的「选择」情节，就可以让观众以为「自己在这些环节上的选择导致了剧情如是发展」。不过从实质上说，这些CVR系统中并没有包含与观众互动的功能，因此它们仍属于「无任何互动」那一类。
中等程度的互动
当研究者们认识到在CVR中观众存在互动的倾向性，他们便开始尝试在CVR中引入各种真实的互动设计。每一种不同的交互方案都与其具体的内容、风格以及导演的主观目的有关系；因此在相关的设计选择上，都会呈现出独特的方式。我们这里主要关注两个重点因素——互动的「可见性」和互动的「深入性」。
我们先来讨论一些准备知识——CVR中用户互动的基础——操作方式。Rothe等在她们的一篇文章[18]中指出，CVR中常见的互动动作包括：选择可见的图像，在非线性叙事中选择特定的区域和路径，触发新的情节，激活额外的信息，以及菜单操作。这里提出的操作，大多都是以「互动式360视频」的形式出现的，它们大多由事先录制的一连串视频判断组成，然后根据观众的操作来实时决定需要播放的片段。在该文章中，Rothe还指出上述这些任务所涉及的操作可以归类为两种：连续输入，包括追踪、移动、指示；离散输入，包括选定和激活操作。而能够用于这些操作的用户输入动作则有头部指向、视线指向、手势动作、手柄操作等等，与具体的系统形态有关。
回到互动性的话题。总体来说，要设计一个CVR体验内容，创作者需要先考量三个设计相关的问题：1）观众需要执行什么样的任务，2）该任务会产生什么样的效果和3）观众需要使用什么样的输入手段来执行这项任务。接下来我们会分析几个典型案例，看看它们分别在这三个问题上做出了什么样的选择，以及三者之间存在什么样的相关性。
浅层的互动——时间轴控制
CVR中较为典型的一种观众互动就是时间轴控制。它指的是，观众的互动可以控制叙事在单线时间轴上的进度（停止、继续、回退、快进等），但无法打破既定的线性叙事逻辑。比如传统的360播放器中，观众可以操作「菜单栏」上的一系列按钮。即使在不同的具体app中操作的逻辑和UI样式会有不同，但核心思路均未变化，且基本都是从桌面端UI设计中获取的设计灵感。而且这一类操作界面有一个共同的特点就是他们需要「手眼协调」来完成指向到点击的两步操作。这意味着观众在进行相关操作时，整体注意力都被吸引，因此会暂时忽略场景中本身的故事内容。针对这一问题，Petry等人在他们的一项研究中[27]创造性地采用了一种「手眼分离」的设计，他们将观众头部转动的动作从控制中分离出来，而仅保留了特定的手势来实现时间线上的快进和快退，这样观众在用手进行操作的同时，还可以自由转头查看不同的内容，以及对当前快速变换的画面进行浏览，以协助时间线定位的进行。而且这种设计中的头部动作和手部动作还相互不会干扰。但这些日子中观众的「互动」都仅仅停留在了「控制一维时间的前进后退」这一项上；故事内容本身都是提前录制制作好的，并不能进行修改和调整。因此我们可以认为这些互动都是「有限」的或「浅层」的。
深层的互动——叙事控制
CVR创作者们同样开始意识到了在CVR中既将观众视作角色之一后，引入对应的互动操作，可以有效增加他们的娱乐性和投入性感受[28]。不过考虑到目前绝大部分CVR内容都是提前制作的（就像电影和电视剧一样），在CVR中增加互动内容的方案大致为两类：1）由选择引出的分支多重剧情，其中每一段内容都是提前录制好的一个片段；2）在录制的内容中加入额外的交互元素，比如2D的UI和3D的物品等[30]。非VR载体上的互动叙事内容已经不是什么稀罕物了，比如之前黑镜拍摄的互动剧集「潘达斯奈基」，还有Google地球项目组制作的关于蒲甘的互动游览体验等。在这些互动体验中，观众在每一个既定的「十字路口」（即故事情节设计中的「节点」）做出相关选择，并依此将已得的情节片段重新排列组合成某一特定的顺序[32]。以「潘达斯奈基」为例，在电视上观看该剧集时，画面中会不定期出现2选1的单选题，让观众做出对应的选择（见下图）。从技术角度来看，每一个「十字路口」其实都是系统根据提前设定的逻辑对观众的选择做出对应的反馈。但从叙事和编剧的角度来看， 由于观众选择的组合情况有很多种，而且内容创者和导演并不能提前预知，这时候故事情节是否始终能够顺利推进就成了一个未知数；换句话说，创作者和导演对故事情节的绝对把控受到了影响。
互动的可见性
在叙事体验等互动式UI设计中，一种比较典型的方法是使用一个可见的视觉元素——比如一个光标、倒计时图案、或者半透明的光点[33]——来协助观众顺序找到需要关注的内容的位置，确认最近某项输入的有效性，或者某个即将发生的事件。后来随着CVR的系统设计逐渐脱离对传统UI设计的参考和依赖，人们也开始了新的探索，开始尝试是否能够在CVR中引入观众互动性的同时，不依赖任何可见的视觉元素（因为在经典的电影观影体验中，银幕上除了画面内容其他任何元素都不存在；电影院放映时关灯同样也是为了将其他一切不相关的元素隐去）。Rothe等一行人在另一篇文章中[29]列出了一系列和「互动元素」相关的设计参数。他们指出，与用户交互相关联的互动元素按照主题内容的需求，可以被用户主动触发，或者保持隐藏。在绝大部分的叙事类CVR中，创作者力图追求一种和电影观影相同的体验，因此他们认为即使画面中出现了很小的「非剧情合理」物品时(原词汇为 non-diegetic，这个词在中文里没有直接对应，可以理解为「存在逻辑与故事内容相悖」；比如古装戏中，桌子上出现了一个现代的手机，而且剧情设定上也无法解释这个手机的存在，那么它就是non-diegetic)，观众的沉浸感受就会受到影响。所以大部分创作者们倾向将互动元素设计为仅仅在有互动的必要时出现，或者完全隐形。
Ibanez等人在一次实验中[34]构建了一个虚拟旅游系统。该系统可以根据用户指定的位置和期间「虚拟导游」所站的位置来生成故事。因此在整个旅游过程中，观光者（用户）会觉得有一个如同真人的导游在引着她参观各个景点，而不是看了一串事先录制好的介绍视频。而且这个「导游」还拥有各种相关知识，并且会对她说选择的兴趣点（ROI，POI，本文中混用，下同）做出相对应的反应。而实际上，所有的叙述单元片段都是预先制作好的。在以往传统的系统中，观众（用户）只能通过显性的交互动作沿着一维的时间线前进；而在这个虚拟旅游系统中，观众可以自然地浏览场景，而内容的展现和叙述结构则实时同步地发生变化。在整个过程中，观众虽然进行了隐性的互动输入（比如，和我们平时在真实世界那样，自然地选择要看的地方和重点），却并不会意识到每时每刻她都在做出选择。这种隐性互动的另一个例子是我们之前做的一个六自由度（6DOF）的 "数字marae”体验（参见[44]）。这里的 “marae "是指毛利人部族中的一种场所，包括一个院子周围的建筑群，一般用户举行欢迎仪式、聚会、讨论等等。在物理世界中，一个来自marae的成员的虚拟化身（avatar）在计算机生成的marae环境中承担待客的主人的角色。当6DOF观看者在场景中自由漫游时，主人就会出来为来宾介绍其身处的场所。在这个过程中，主人其实是事先录制好的一个真人的三维体素片段（voxelvideos）渲染（视觉和听觉）到虚拟的marae环境中形成的（如下图所示）。在这个虚拟的环境中，「虚拟」的主人会向观众介绍一些手工艺品和装饰品。在互动上，一方面观众可以通过和前述的例子类似的UI来使用直接的暂停和继续；另一方面，我们还特别设置了voxelvideo的主人avatar能够主动与观众建立目光接触；当观众在「主人」的一定距离内时，主人就会主动开始进行相关介绍，并在说话时与观众保持目光接触。而当观众离开一段距离，并且中止了目光接触时，虚拟的主人就会自动切回到初始的默认姿态（不再注视着观众）并终止叙述。我们通过实验发现，当使用这种基于「距离」和「目光接触」的自动机制时，观众会觉得她在一个真实的游览场景中和一个真人互动，仿佛marae的主人是专程来招待她前来参观的，而不是一种 "我按了个按钮，然后放了一段全息影像”那样的印象。
在以上两个例子中，观众并未意识到周围有任何显性的互动元素，也不会意识到自己是否激活了什么互动机制；但同时他们又确实是在和系统进行互动，并且影响了叙事的发展和进程。因此这两个案例，都可以放在光谱上「中等程度」的位置。
较高程度的互动
单单通过指向和点击来观看预先录制好的片段并非沉浸式叙事的唯一类型。在光谱的另一头，研究人员也试图通过采用高拟真度的互动技术来提升叙事的整体体验。这方面的案例包括临场式的叙事、互动戏剧、沙盒视频游戏等。插一句题外话，在纽约和上海均鼎鼎大名的实景互动剧「Sleep No More」和武汉的互动剧「知音号」都是这一类（在我之前的另一篇文章里提到过）。而且在我写这篇文章的原文时，尚未考虑国内已经蓬勃发展的密室、剧本杀、以及换装互动密室剧本杀究竟属于光谱上的什么位置，以后有空再补充。
在高拟真度互动领域，Sharaha和Dweik[35]回顾了几种具有不同输入系统的交互式叙事方法。它们有一个共同点，即用户和系统的互动都处在较高的程度上，用户基本都完全成为了故事中的一个虚拟人物。在Cavvaza等人设计的系统中[36]，他们专注于根据用户提供的文本输入来自动生成实时对话，并且驱动故事情节。类似的方法也出现在了一款叫做Façade的著名互动游戏中[37,38]中。在该游戏中，玩家通过键盘在屏幕上的文本框中输入对话（任何内容任何对话均可），游戏中的两个虚拟人物则会依此并将玩家当作场景中的第三人展开对话，并一步步揭开核心的故事情节（游戏截图见下方）。Edirlei[39]则提出了另一种讲故事的体验。在他设计的游戏中，观众通过一个AR系统观看故事内容，并通过「绘画」的形式和故事内容产生互动。在这套系统中，虚拟的人物在表演故事情节，而观看者可以在一张特殊的纸上实际一些物品，然后将此「传送到」到故事场景中变成其中人物可以使用的虚拟物品，进而影响情节的走向（比如在勇士将要被魔王打败时，画一柄剑丢给他）。在另一个类似CAVE的大规模体验中[40]，观众可以自由地与一个虚拟人物进行自然对话，故事情节在此间缓慢展开。用户可以不受限制地在场景中自由地说话和走动。而系统则观察用户所说的内容，并对其作出反应。在这些体验中，观众（或用户）都能够使用高拟真度的互动手法（比如语言、手势、运动、绘画）。此时玩家（不再是简单的观看者）能够进行的交互事件也变得极其丰富。因此我们把这些案例放在光谱的右端。
小结
在以上的内容中，我着重介绍了针对CVR不同类型体验和系统设计进行分类的「互动性光谱」并介绍了分布在光谱上不同位置的几个不同的例子。这些内容能够帮助读者更好地了解当创作者们在CVR中引入观众互动元素时，所考量的因素和不同抉择所衍生出的最终成品和结果。之后我们会以该光谱为基础，进一步讨论互动式CVR内容设计上的更多思量。
参考文献
1. Mateer, J. Directing for Cinematic Virtual Reality: How the traditional film director’s craft applies to immersive environments and notions of presence. J. Med. Pract. 2017, 18, 14–25. [CrossRef]
2. Rothe, S.; Buschek, D.; Hußmann, H. Guidance in Cinematic Virtual Reality-Taxonomy, Research Status and Challenges. Multimodal Technol. Interact. 2019, 3, 19. [CrossRef]
3. Dooley, K. Storytelling with virtual reality in 360-degrees: A new screen grammar. Stud. Australas. Cine. 2017. [CrossRef]
4. Winters, G.J.; Zhu, J. Guiding Players through Structural Composition Patterns in 3D Adventure Games. In Proceedings of the 40th International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH 2013, Aneiham, CA, USA, 21–25 July 2013. [CrossRef]
5. MaCquarrie, A.; Steed, A. Cinematic virtual reality: Evaluating the effect of display type on the viewing experience for panoramic video. Proc. IEEE Virtual Real. 2017, 45–54. [CrossRef]
6. Bordwell, D.; Thompson, K. Film Art: An Introduction, 10th ed.; McGraw-Hill: New York, NY, USA, 2013.
7. Pope, V.C.; Dawes, R.; Schweiger, F.; Sheikh, A. The Geometry of Storytelling: Theatrical Use of Space for 360-degree Videos and Virtual Reality. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, Denver, CO, USA, 6–11 May 2017; ACM: Denver, CO, USA, 2017; pp. 4468–4478. [CrossRef]
8. Rothe, S.; Kegeles, B.; Allary, M.; Hußmann, H. The impact of camera height in cinematic virtual reality. In Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology, Tokyo, Japan, 28 November–1 December 2018; ACM: Tokyo, Japan, 2018; pp. 1–2. [CrossRef]
9. Dooley, K. A question of proximity: Exploring a new screen grammar for 360-degree cinematic virtual reality. Media Pract. Educ. 2019, 21, 81–96. [CrossRef]
10. Gödde, M.; Gabler, F.; Siegmund, D.; Braun, A. Cinematic Narration in VR—Rethinking Film Conventions for 360 Degrees.
In Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics); Springer: Berlin/Heidelberg, Germany, 2018.
11. Kjær, T.; Lillelund, C.B.; Moth-Poulsen, M.; Nilsson, N.C.; Nordahl, R.; Serafin, S. Can you cut it? An exploration of the effects of editing in cinematic virtual reality. In Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology, Gothenburg, Sweden, 8–10 November 2017.
12. Fearghail, C.O.; Ozcinar, C.; Knorr, S.; Smolic, A. Director’s cut-Analysis of VR film cuts for interactive storytelling. In Proceedings of the 2018 International Conference on 3D Immersion (IC3D), Brussels, Belgium, 5–6 December 2018.
13. Lin, Y.C.; Chang, Y.J.; Hu, H.N.; Cheng, H.T.; Huang, C.W.; Sun, M. Tell Me Where to Look: Investigating Ways for Assisting Focus in 360 ◦ Video. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems—CHI ’17, Denver, CO, USA, 6–11 May 2017.
14. Brown, A.; Sheikh, A.; Evans, M.; Watson, Z. Directing attention in 360-degree video. In Proceedings of the IBC 2016 Conference, Amsterdam, The Netherlands, 8–12 September 2016; p. 29. [CrossRef]
15. Tong, L.; Jung, S.; Li, R.C.; Lindeman, R.W.; Regenbrecht, H. Action Units: Exploring the Use of Directorial Cues for Effective Storytelling with Swivel-chair Virtual Reality. In Proceedings of the 32nd Australian Conference on Human-Computer Interaction, Sydney, NSW, Australia, 2–4 December 2020; ACM: Sydney, NSW, Australia, 2020; pp. 45–54. [CrossRef]
16. Gugenheimer, J.; Wolf, D.; Haas, G.; Krebs, S.; Rukzio, E. SwiVRChair: A Motorized Swivel Chair to Nudge Users’ Orientation for 360 Degree Storytelling in Virtual Reality. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems—CHI ’16, San Jose, CA, USA, 7–12 May 2016.
17. Syrett, H.; Calvi, L.; van Gisbergen, M. The Oculus Rift Film Experience: A Case Study on Understanding Films in a Head Mounted Display. In Intelligent Technologies for Interactive Entertainment: 8th International Conference, INTETAIN 2016, Utrecht, The Netherlands, 28–30 June 2016, Revised Selected Papers; Springer: Berlin, Germany, 2017. [CrossRef]
18. Rothe, S.; Pothmann, P.; Drewe, H.; Hussmann, H. Interaction techniques for cinematic virtual reality. In Proceedings of the 26th IEEE Conference on Virtual Reality and 3D User Interfaces, VR 2019, Osaka, Japan, 23–27 March 2019; pp. 1733–1737. [CrossRef]
19. Teo, T.; Lee, G.A.; Billinghurst, M.; Adcock, M. Hand gestures and visual annotation in live 360 panorama-based mixed reality remote collaboration. In Proceedings of the 30th Australian Conference on Computer-Human Interaction, Melbourne, VIC, Australia, 4–7 December 2018; ACM International Conference Proceeding Series.
20. Piumsomboon, T.; Dey, A.; Ens, B.; Lee, G.; Billinghurst, M. CoVAR: Mixed-Platform Remote Collaborative Augmented and Virtual Realities System with Shared Collaboration Cues. In Adjunct Proceedings of the 2017 IEEE International Symposium on Mixed and Augmented Reality, ISMAR-Adjunct 2017; Institute of Electrical and Electronics Engineers Inc.: New York, NY, USA, 2017; pp. 218–219. [CrossRef]
21. Bender, S. Headset attentional synchrony: Tracking the gaze of viewers watching narrative virtual reality. Media Pract. Educ. 2019, 20, 277–296. [CrossRef]
22. Bailenson, J.N.; Blascovich, J.; Beall, A.C.; Loomis, J.M. Equilibrium Theory Revisited: Mutual Gaze and Personal Space in Virtual Environments. Presence Teleoper. Virtual Environ. 2001, 10, 583–598. [CrossRef]
23. Keskinen, T.; Makela, V.; Kallioniemi, P.; Hakulinen, J.; Karhu, J.; Ronkainen, K.; Makela, J.; Turunen, M. The Effect of Camera Height, Actor Behavior, and Viewer Position on the User Experience of 360 ◦ Videos. In Proceedings of the 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Osaka, Japan, 23–27 March 2019; IEEE: Osaka, Japan, 2019; pp. 423–430. [CrossRef] Computers 2021, 10, 66
24. Speicher, M.; Rosenberg, C.; Degraen, D.; Daiber, F.; Krúger, A. Exploring Visual Guidance in 360-degree Videos. In Proceedings of the 2019 ACM International Conference on Interactive Experiences for TV and Online Video; ACM: Salford, UK, 2019; pp. 1–12. [CrossRef]
25. Pakkanen, T.; Hakulinen, J.; Jokela, T.; Rakkolainen, I.; Kangas, J.; Piippo, P.; Raisamo, R.; Salmimaa, M. Interaction with WebVR 360 ◦ video player: Comparing three interaction paradigms. In Proceedings of the 2017 IEEE Virtual Reality (VR), Los Angeles, CA, USA, 18–22 March 2017; pp. 279–280. [CrossRef]
26. Keijzer, P.D. Effectively Browsing 360-Degree Videos. Master’s Thesis, Universiteit Utrecht, Utrecht, The Netherlands, 2019.
27. Petry, B.; Huber, J. Towards effective interaction with omnidirectional videos using immersive virtual reality headsets. In Proceedings of the 6th Augmented Human International Conference, Singapore, 9–11 March 2015; ACM: Singapore, 2015; pp. 217–218. [CrossRef]
28. Elmezeny, A.; Edenhofer, N.; Wimmer, J. Immersive Storytelling in 360-Degree Videos: An Analysis of Interplay Between Narrative and Technical Immersion. J. Virtual Worlds Res. 2018, 11. [CrossRef]
29. Rothe, S.; Hussmann, H. Spaceline: A Concept for Interaction in Cinematic Virtual Reality. In Proceedings of the International Conference on Interactive Digital Storytelling, Little Cottonwood Canyon, UT, USA, 19–23 November 2019; pp. 115–119. [CrossRef]
30. Reyes, M.C. Screenwriting Framework For An Interactive Virtual Reality Film. In Proceedings of the 3rd Immersive Research Network Conference iLRN, iLRN 2017, Coimbra, Portugal, 26–29 June 2017.
31. Montfort, N. Twisty Little Passages: An Approach to Interactive Fiction; OCLC: 799016115; MIT Press: Cambridge, MA, USA, 2005.
32. Marie-Laure Ryan. From Narrative Games to Playable Stories: Toward a Poetics of Interactive Narrative. Storyworlds A J. Narrat. Stud. 2009, 1, 43–59. [CrossRef]
33. Kallioniemi, P.; Keskinen, T.; Mäkelä, V.; Karhu, J.; Ronkainen, K.; Nevalainen, A.; Hakulinen, J.; Turunen, M. Hotspot Interaction in Omnidirectional Videos Using Head-Mounted Displays. In Proceedings of the 22nd International Academic Mindtrek Conference, Tampere, Finland, 22–24 September 2018; ACM: Tampere, Finland, 2018; pp. 126–134. [CrossRef]
34. Ibanez, J.; Aylett, R.; Ruiz-Rodarte, R. Storytelling ual environments from a virtual guide perspective. Virtual Real. 2003.
35. Sharaha, I.; AL Dweik, A. Digital Interactive Storytelling Approaches : A Systematic Review. In Computer Science & Information Technology (CS & IT); Academy & Industry Research Collaboration Center (AIRCC): Chennai, Tamil Nadu, India, 2016; pp. 21–30. [CrossRef]
36. Cavazza, M.; Charles, F. Dialogue generation in character-based interactive storytelling. In Proceedings of the First AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, Marina del Rey, CA, USA, 1–3 June 2005; AAAI Press: Marina del Rey, CA, USA, 2005; AIIDE’05; pp. 21–26.
37. Mateas, M.; Stern, A. Towards Integrating Plot and Character for Interactive Drama. Soc. Intell. Agents 2006, 221–228. [CrossRef]
38. Seif El-Nasr, M.; Milam, D.; Maygoli, T. Experiencing interactive narrative: A qualitative analysis of Façade. Entertain. Comput. 2013, 4, 39–52. [CrossRef]
39. de Lima, E.S.; Feijó, B.; Barbosa, S.D.; Furtado, A.L.; Ciarlini, A.E.; Pozzer, C.T. Draw your own story: Paper and pencil interactive storytelling. Entertain. Comput. 2014, 5, 33–41. [CrossRef]
40. Cavazza, M.; Lugrin, J.L.; Pizzi, D.; Charles, F. Madame bovary on the holodeck: Immersive interactive storytelling. In Proceedings of the 15th international conference on Multimedia—MULTIMEDIA ’07, Bordeaux, France, 25–27 June 2007; ACM Press: Augsburg, Germany, 2007; p. 651. [CrossRef]
41. Koenitz, H. Towards a Specific Theory of Interactive Digital Narrative. In Interactive Digital Narrative; Routledge: London, UK, 2015; pp. 91–105. [CrossRef]
42. Signe Brewster. Designing for Real Feelings in a Virtual Reality. Available online: https://medium.com/s/designing-for-virtualreality/designing-for-real-feelings-in-a-virtual-reality-41f2a2c7046 (accessed on 14 January 2021).
43. Regenbrecht, H.; Schubert, T. Real and illusory interactions enhance presence ual environments. Presence Teleoper. Virtual Environ. 2002, 11, 425–434. [CrossRef]
44. Park, J.N.; Mills, S.; Whaanga, H.; Mato, P.; Lindeman, R.W.; Regenbrecht, H. Towards a M¯aori Telepresence System. In Proceedings of the 2019 International Conference on Image and Vision Computing New Zealand (IVCNZ), Dunedin, New Zealand, 2–4 December 2019; pp. 1–6; [CrossRef]
45. Vosmeer, M.; Schouten, B. Interactive Cinema: Engagement and Interaction. In Interactive Storytelling; Mitchell, A., FernándezVara, C., Thue, D., Eds.; Lecture Notes in Computer Science; Springer International Publishing: Cham, Switzerland, 2014; pp. 140–147. [CrossRef]
46. Wei, H.; Bizzocchi, J.; Calvert, T. Time and space in digital game storytelling. Int. J. Comput. Games Technol. 2010, 2010, 897217.
47. Nilsson, N.C.; Nordahl, R.; Serafin, S. Immersion revisited: A review of existing definitions of immersion and their relation to different theories of presence. Hum. Technol. 2016, 12, 108–134. [CrossRef]
