“在如今计算无处不在的时代,原本被称为‘虚拟’的实时数据领域越来越经由各种数字商品被植入具体的物理和社会场景中。”(西蒙·佩妮[Simon Penny])叙事始终是体验的核心,使用讲故事的方式,设计能够引发情绪反应,使各种世界可以被学习和理解,这是一种有效的沟通方法,对于如何表达想法,感受和经验至关重要。本文将叙事作为超越学科和媒介的交流与沟通方式,研究时间和空间、虚拟内容和物理材料、地理和网络的关系,重点讲解连续性叙事从单一媒介转换到多模态媒介的基本规律,解读在现有的媒体矩阵中添加新媒体如何改变了旧媒体的功能和使用,塑造面向未来的视觉形式和媒介空间的叙事方案。


媒介的空间生产

国内当下对于媒介与空间之间的叙事性研究“看似都在探讨空间与媒介的关系,但又恰恰忽视空间本身的媒介性。一方面,这是由于长久以来大众传播关于媒介的认识偏狭。它轻而易举地将媒介限定为一种信息内容的物质载体,从而限制了我们对媒介形式的想象力(黄旦,2018);另一方面更是由于新媒介技术从来没像今天这样渗透进现实都市的空间实践之中。”

列斐伏尔认为“一方面,空间是生产模式的产物,产生于社会运动的过程中;另一方面,空间又是社会活动演变发生的场所,它可以孕育新的因素从而改变社会进程,塑造现实社会的样貌。” 媒介空间,是在传播学的视域,强调以媒介为表达途径的社会空间关系组合。层级、性别、群体等格局可经由媒介直观地体现出来。杰森·法曼(Jason Farman)认为“具身空间的实践越来越依赖于我们的装备与我们的地理地形之间的无缝互动。对空间的再现并不外在于空间的生存体验,而是完全与具身空间的生产融为一体。如此,我们超越了将移动设备视为身体延伸的看法,不再认为设备是我们自身对物质世界的伸展。相反,我们将各种设备视为数字时代具身空间基础的有机构成。”


漂移:人的延伸

麦克卢汉认为“媒介能够重新架构个人的感觉体验并改变传播作为社会实践的规模和节奏。”乔纳森·克拉里(Jonathan Crary)认为“(在数字网络环境中)个人的物化已经到了这样的程度:个人不得不为自己更好地参与数字环境或响应数字化的速度而重新认识自我。”(Crary,J,24/7:Late Capitalism and the End of Sleep,London and New York:Verso,2013)在物化的过程当中,或如唐娜·哈拉维所述的“我们通过把机械和有机体重新构想为编码的文本,而参与到书写和阅读世界的游戏中。”的进程中,数字媒介既帮助人们从“地点“解放出来,又成为了如今地点制造的重要形式,改变的范围包括个人身体的心理听觉空间、家庭的私人空间、民族国家的抽象空间以及正在出现的全球网络,日常互动以极小的成本即能产生全球效应。数字媒介成为了强大的“时空机器”,极大地扩展了人类的感官、社会组织和文化规范。在保罗·米尔格拉姆[Paul Milgram]等人合著的< Augmented Reality: A class of displays on the reality-virtuality continuum>中则将人通过技术所体验的现实分为三个维度:1.对世界认知的延伸[Extent of World Knowledge (EWK)];2.对于准确现实的重现[Reproduction Fidelity (RF) ];3.对于当下隐喻的延伸[Extent of Presence Metaphor (EPM)]。互相纠缠的网络系统成为了包裹住现代生活和生产模式的幽灵,“漂移”成为了其中最为重要行为模式。居伊·德波将情境主义国际关于空间的核心概念“漂移“[derive]定义为一种”在复杂环境中快速通行的技术“[a technique of rapid passage through varied ambiences]。通过漂移,从而形成空间,或称“现实”。

在计算机图形学里,帧率用于测量显示帧数的量度,测量单位为“每秒显示帧数”[Frame per Second, FPS],而当数字媒介在生活场景中的增加,有一种新型的FPS应当受到重视:每步显示帧数[Frame per Steps]。有声电影的拍摄及播放帧率均为每秒24帧,对一般人而言已算可接受,但对早期的高动态电子游戏,尤其是射击游戏或竞速游戏来说,帧率少于每秒30帧的话,游戏就会显得不连贯,而关于“每步显示帧数”,由于现有技术的实际情况,正如人们现在所经验的,当视线从移动屏幕移动到户外大屏,媒介间的连续过程还有着明显的不流畅感、空间撕裂、松散状态,媒介所纠缠出的网络似乎不存在,尽管这个幽灵难以被感知到,但在地铁系统中有一个被忽视的媒介技术可以让它部分现形:朱春鹏与其研究小组所发明的地铁轨行区的隧道灯柱,每个发光灯管间间隔一米,在地铁接近灯柱时,灯柱会收到地铁运行速度的信号,根据算法调整闪烁频率,利用“视觉暂留”的原理可以形成稳定显示的移动广告,以此,漂移者为媒介空间增加了时间性。


跨媒介和多媒体,融媒体

在讨论跨媒介前,首先需要将其从一系列相似的媒介词汇组合中分辨出来:1.多媒体,在一个渠道中,使用多种形式讲述同一个故事,并将它们全部放在一个频道上,作为一个复杂的网络出版物,例如纽约时报的<雪崩>[Snow Fall: The Avalanche at Tunnel Creek]。这是处于高级状态的多媒体叙事的一个明显例子,使用文本,照片,视频,地图和互动来讲述该故事,但都在一个网页当中;2.融媒体,在很多渠道中讲述同一个故事.如现今耳熟能详的国际新闻机构都通过世界各地的多家报纸以及杂志,广播和电视发布同一故事、同一事实,发行内容可能包括文字,图片和视频,但它们都以相同的方式讲述着相同的故事。对融媒体的使用能够吸引了不同的人群风格或理解方式,通过多渠道来吸引更广泛的受众。

而借助跨媒介,不再只讲述一个故事。在1982年电影<银翼杀手>[Blade Runner]具有两种结尾,普通结尾是主人公与女主角远走高飞,另一个“独角兽折纸”结尾则是主人公最终场景的地上捡到了独角兽折纸,并闪回了警察在其最后一幕中所说的“Who Knows?”,Henry Jenkins将第二版本结尾解释为Transmedia Storytelling作用,正式因为“独角兽折纸”情节,导致了观众对于故事有着完全不同的理解:普通结尾中,故事是主人公追杀殆尽仿生人后,与最后一个仿生人远走高飞;“独角兽折纸”结尾则能够与电影中两个桥段相呼应:1.在与女主角解释何为仿生人时,主人公提到:仿生人的记忆都是设计者植入以创造人格的,所以这些记忆都是可以被查询到的;2.主人公在钢琴上小睡时,梦见了一匹独角兽。通过结合“独角兽折纸”情节,新的结局可以被理解为:由于主人公的梦是隐私的没有告诉他人的,而警察却知道并留下提示,在银翼杀手的世界里,也许所有人都早已是仿生人了。Henry Jenkins以此将跨媒介叙事解读为:每一个媒介都对故事世界产生无可替代的作用,缺少或多出任何一个媒介,都将产生完全不同的故事解读。

1991年,Marsha Kinder提出“‘transmedia intertextuality’描述了人物出现在多种媒体平台的作品。” 如<忍者神龟>这类现在被称为媒体连锁[entertainment franchise],将角色等要素借由特许拓广至其他媒体。2014年,凯文·莫洛尼[Kevin Moloney]解读跨媒介叙事为:跨媒体=一个故事世界,许多故事,许多形式,许多渠道。最早在20世纪中叶,可以在布莱希特[Brecht]的史诗剧院[Epic Theatre]中发现跨媒介叙事的效果,通过使用字幕、音乐等其他媒介,在原本连贯的戏剧体验中插入故事以上维度的声音,从而使得观众在故事世界和剧场世界中来回跳跃。在标准的跨媒介叙事作品中,受众将面临着多重选择、多重链接、多重主题。


现实-虚拟连续统一体:媒介共存的动态网络

在20世纪90年代,媒介被被局限在城市内部相对受到限制的一系列地点场景,人们不得不移动到特定场合以便收听收看媒介内容,或经由媒介被连入网络。“随着定位系统的普及,所有携带此系统的个人都成为活的光标,城市规划也随之成为有生命力的活界面”(麦卡洛[McCullough],2004:88) 网络数字媒介在城市空间中的扩张构成了21世纪城市体验与早先城市居住模式之间最为主要的差异。人类所经验的无数种现实 “通过无数分布在城市和建筑中的电子设备,实体与虚拟越来越彼此纠缠、相互编织。(地方之语,米切尔,2005:16,18)

肖恩·穆尔斯(Shaun Moores,2003)将其称为“空间重合”[doubling of space],克卢登堡[Kluitenberg]、席尔瓦[de Souza e Silva]和弗里斯[Frith]称之为“杂交空间”[hybrid space],本福德和詹纳齐[Benford & Giannachi]则提出“混合现实”[mixed reality]。米尔格拉姆在< Augmented Reality: A class of displays on the reality-virtuality continuum>中提出了“现实-虚拟连续统一体”[reality-virtuality continuum,RV Continuum]。

米尔格拉姆的“现实-虚拟连续统一体”

梅罗维认为“媒介并不是单纯是两个或多个环境之间传递信息的渠道,而且也是一种环境。”实时定位系统[RTLS] 的出现模糊了现实世界与数字世界之间的界限,包括使用卫星、低耗蓝牙技术[Bluetooth Low Energ,BLE]、无线网络[Wi-Fi]、射频识别技术[RfiD]、超宽带技术[UWB]使得公众的地理媒介得以广泛运用在基于位置信息服务[Location Based Services,LBS]中,而近些年由于人工智能领域的快速发展,带来的计算机图形视觉识别技术、可见光定位技术[Li-Fi]更是提供了可以预期的、更加高精度的LBS体验部署在公共空间、社区、景区、商超中的可能。通过安装上述的IoT设备提供精确的用户运动分析,以更好地了解访客如何与您的博物馆空间互动,并获得热点图,知悉自然的步行流程以及未使用的区域。可以将这些数据可视化为热图,以轻松识别客人如何穿越博物馆,哪些展览品受欢迎(或不受欢迎)并确定死区;客人看不到的区域。这些数据非常有价值,因为它可以捕捉到客人的真实动向,识别受欢迎的展品, 并更好地利用空间,展览的位置和布局。例如在2017年,盖特威克机场已经安装了2000个室内导航信标,实现了一个室内导航系统,该系统“比GPS更加可靠”,从而使第三方,航空公司和机场本身可以在其应用程序中开发增强现实导航工具。

在撰写本文时,基于位置的增强现实应用程序没有比2016 Niantic Labs  Pokemon GO应用程序更加成功的。类似的应用,如Ingress于2012年推出,尽管直到Pokemon GO成功后,该技术才受到关注。通过将基于位置的RTLS(GPS)和AR与流行文化相结合,Pokemon GO将这两项技术带入了主流,下载量超过5亿次,并在此过程中筹集了9.5亿美元。在进一步的实践中,本文将现实-虚拟连续统一体拓展成为更加符合当下媒介情况的图示。

笔者的“现实-虚拟连续统一体”,自制
  1. 人工现实:从名称上说,它由于是被创建的,因此是虚拟的,但当虚拟仿真技术达到<黑客帝国>中的状态,人凭借主观感受无法明确辨别所处世界的现实性与真实性,则成为了超脱真实现实以外的第二类现实。人工现实在当下还不存在,但近期的Neuralink所完成的脑机接口实验证明了人工现实的诞生将指日可待;
  2. 虚拟:是人清楚认识到其是被创建的另类现实,如电脑游戏中的世界,尽管由于屏幕的限制,以及与现实的明显区分,玩家仍能将其作为生活的一部分甚至主体;
  3. 增强虚拟:比虚拟更进一步,通过更加触发感知感受能力的外部设备,让玩家更加融入到虚拟世界当中,能够进一步加深在虚拟世界中的经验与记忆;
  4. 混合现实:指多种现实技术共同使用的环境,如现在由超高清沉浸式Mini LED显示屏代替绿幕、实景,在影视拍摄中给演员创造一种实时的虚拟现实的感受,让演员拥有更加真实的感官表演环境;
  5. 虚拟现实:使用多种感官设备,令人体完全沉浸在虚拟世界当中,随着媒介技术的发展,将趋近于人工现实,而与增强虚拟最大的区别便在于虚拟现实更注重于对现实感的塑造;
  6. 增强现实:指通过叠加屏幕[See-through AR Screen]或实时摄像头采集的显示器[Monitor-based AR Screen],将数字内容叠加在物理场景当中,形成虚拟与现实的联合体验。

本文提出基于现实-虚拟连续统一体思想,并融合数字媒介技术与剧场理论的作品称为“跨媒介空间叙事”,表示提供一种覆盖各现实-虚拟环境的平滑体验,在实践过程中,由于现有技术条件以及公众对于此类媒介的陌生,失败率远远大于成功的传递体验:叙事单薄或过于复杂导致无法阅读,或者媒介过多或过少产生缝隙而导致体验崩塌。其中,“传送门”思想可以是一种标准解决方案:1. 传送门可以是笔者作品<妖怪号谋杀案>中的增强现实门——联通着物理的剧场世界与沉浸式数字空间;2. 传送门也可以是人们现在所经验的屏幕——是不可逾越的联通着虚拟-现实世界的窗口,3. 传送门也可以是沉浸式戏剧中的“兔子洞”——是一场对于现实适应性的培养过程。


跨媒介空间叙事作为替代现实的塑造方式

迈克尔·海姆在<从界面到网络空间:虚拟实在的形而上学>中提出 “界面便是两种或多种信息源面对面交互之处。”界面是一个动态发展的、难以逾越的缝隙。在媒介的发展历程中,观众逐渐从影院的座位上移步到了虚拟现实眼镜的镜片上,竭尽全力将视网膜尽可能的贴于界面之上,以此来压缩现实与虚拟间缝隙的尺寸——人类对于数字体验真实性的向往从来没有停止过。早在电视作为大众媒介出现后,如阿波罗号登月事件,尽管人们并没有出现在月球表面进行围观,但通过同一时间观看电视这一行为,就出现了“媒介事件”作为一种替代现实的状况,其突破空间界限,使观众直接参与到事件的进程当中,并打破了时间的限制,让受众以改变日常的生活规律为代价,投入到”表演”的收看当中。当引用罗兰·巴特的”lisible“与”scriptable“后,想象力可以进一步从作者所赋予的意义霸权中解放出来。观看媒介,变成了作者媒介。在Crispin Lord与Jonathan Packham的合作作品“未命名(他们)”[untitled (THEY)]中,通过将虚拟现实眼镜作为表演的一部分道具,并设计了一系列可能和不可能的指示,表演者的动作被网络摄像头捕获,触发Max MSP中准备的声音,该表演成为在敌对的数字空间中建立酷儿身份的一种方式。从而实现观者与作者的身份互换,成功地使虚拟现实世界转化为具有多元时空的想象世界。

对于“真实性”的戏仿一直是褒贬不一的现象,最早在布莱希特[Brecht]的史诗剧院[Epic Theater]中创造了Verfremdungs-effekt(异化效应)一词,意在关键时刻利用歌曲打断活动,以传达重要观点或信息,并将说明性字母投射到屏幕上或使用标语牌。希望听众保持客观和远离情感的参与。而迈克尔·海姆的观点也是相类似:他更支持虚拟现实技术激发创造想象力的那一面,认为不是模拟实在,而是创造更高实在及更高体验。当虚拟现实技术被重新审视,其作为完美的沉浸媒介的背后,是对现实和虚拟的撕裂,然而“媒介所具有的联结性和转化性而非区隔性和传递性才是其根本属性。”(德布雷),显然,虚拟现实成为了某种霸权媒介。试回想,当初次体验虚拟现实时,尽管首先会被告知“虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真,使你完全沉浸到新的现实当中”,然而接下来则是工作人员对你的设备使用辅导——帮助你佩戴头戴式设备[HMD]并进行调试,而在真实的体验前,工作人员的最后一句“你现在能看到画面吗?”则完全孤立了现实——无论是虚拟现实,还是真实现实。然而,这一阶段,正是沉浸式戏剧设计中最为关键的一环:兔子洞[Rabbit Hole],顾名思义,它来自于<爱丽丝梦游仙境>中爱丽丝经由进入的梦境世界,通过“坠落”的过程,经历人生过往与时空扭曲,从而使得现实间的转换得以平滑,在沉浸式戏剧中,“兔子洞”是伦敦<了不起的盖茨比>[ The Great Gatsby]中的盖茨比酒吧——在这里,观众们饮酒聊天等候盖茨比的出场与欢迎、是上海<不眠之夜>[Sleep No More]中的爵士舞台——观众们经由歌手的复古歌声回到那个黄金年代。

在42Entertainment为<黑暗骑士>所创作的替代现实游戏[alternative reality game,ARG]“Why So Serious”中展示了如何通过尽可能多的大众媒介,打造出全民体验的世界范围作品,整个项目覆盖超过75个国家/地区,有超过1100万独特的参与者推动了小丑的兴起,成为党员,竞选哈维·登特(Harvey Dent)当选地区检察官,甚至通过成为模仿蝙蝠侠的守卫者将法律掌握在自己手中。Why So Serious面向了蝙蝠侠的所有粉丝,即具备蝙蝠侠故事世界中所有知识的人,从打电话给空中的电话号码,到寻找GPS坐标以查找在生日蛋糕内烤制的手机,最后发现在电影院首映的<黑暗骑士>预告片,直到最后,被带上黄色校车的“小丑”们与<黑暗骑士>电影的开篇的银行劫案完全接轨,将观众塑造成为哥谭市的真实公民。

除了将既有知识转化情节之外,在塑造替代现实作品时还值得关注的方法是“契诃夫之枪”[Chekhov’s Gun],与它相似的方法是“麦高芬”[MacGuffin],后者是指对于剧情有决定性推动作用的功能不明道具、人物或抽象符号,如<低俗小说>中的手提箱,它的具体意义并不重要,最重要的是它作为驱动剧情的主要符号,而前者,“契诃夫之枪”是在最早剧情中所呈现,而在剧情的推动过程中,一定会开火的那把枪,例如<僵尸肖恩>中的猎枪,在剧情从轻松转向复杂的过程当中,剧情开头的那把枪悬而未决于所有观众的记忆中,而在不断的剧情升级直至必要时刻,观众与主角共同取下,克服难关。

当你在创造这样一种身临其境的体验时,你是在邀请某人进入另一个世界,你想做好一个优秀的主人——这意味着提供一种归属感,以及一种超越“那个地方”的世界感。观众渴望一种感觉,即他们所看到和探索的场景是更大的世界的一部分。邀请观众进入这个跨媒介空间,如同坐在镜子前,从镜子的反射中看到自己,让他们知道自己有一个角色需要扮演,不管这个角色是大是小。对于这种身临其境的体验,需要将观众放在设计的中心位置,从他们的用户角度思考,让他们看到最有意义和相关性的自己。通过上述方法所创建的跨媒介空间叙事通过将新技术融入到实践中,将经典的叙事现实世界和增强现实之间复杂的相互作用当中,使观众从偷窥者化身成为探索者,从被动观看到主动参与,形成从现实世界到幻觉世界的无缝衔接的探索经验。


引用文献

许同文著,《媒介理论:作为文化环境的媒介》,中国传播学评论(第八辑),复旦大学出版社,2019年10月。

李耘耕著,《从列斐伏尔到位置媒介的兴起“:一种空间媒介观的理论谱系》,国际新闻界,2019年11月。

斯科特·麦夸尔著、潘霁译,《地理媒介:网络化城市与公共空间的未来》,复旦大学出版社,2019年5月。

发表评论