400-123-4657
大学生创新训练计划简介
多模态视角下的字幕翻译策略
项目成员 | 低保指导员马玉琪 | 常晨光
什么是多模态？
首先，什么是情态？
每种信息源或信息形式都可以称为一种模态。例如，人类有触觉、听觉、视觉和嗅觉；信息媒介包括语音、视频、文本等；还有许多不同的传感器，例如雷达、红外线、加速度计等。以上每一种都可以称为一种模态。
多模态性是指多源模态的信息。例如，一部影视作品传达给观众的信息不仅仅是演员的对白，而是对白结合电影中的视觉符号、演员讲话的听觉符号，甚至某些特定影片中的触觉符号所创造的意义。换言之，字幕只有与图像、声音等其他模态共同产生意义。
图为电影《三块广告牌》剧本摘录，可见如果没有图片，观众很难想象当时到底发生了什么。
每幅图像都是一篇多模态文本，我们将多模态的分析带入视频之中，研究每个场景、每个镜头中的多模态语义，分析其对字幕翻译策略选择的影响。
理论背景
韩礼德(1994)认为，语言具有三种纯粹理性的功能，即概念功能(所指对象是人们对现实生活中各种经验的表达)、人际功能(语言包含说话人身份、讲话动机等交际功能)和话语功能(语言的成分可以组合成话语)(胡壮麟等，1989：24)。
随着数字媒体的快速发展，特别是互联网的兴起，人们开始注重越来越多视觉信息的表达，Matthiessen & Nesbitt（1996）意识到技术的发展和社会的需求导致了语言理论与描述的分离现象，并率先开始探索多模态性和语言作为一种符号系统。
Kress & Van Leeuwen也于1996年提出了多模态话语分析的视觉语法理论，指出了图像分析的理论框架：包括表征意义、交互意义和组合意义，这些为我们研究多模态动态文本提供了思路和方向。
向上滑动即可浏览此图的视觉语法分析
以电影《三块广告牌》第二场的一个画面为例，它讲述的是女主角去组装广告牌的故事，两位主人公的身高关系以及两人接触的目光构成了一个矢量（李占子，2003：5），是叙事线索的体现，属于图像的再现意义。这种高高在上的手法，显示出米尔德丽德（左）在对话中的强势地位。同时，这一场的色彩饱和度较高，从窗户射进来的光线也较明亮，具有丰富的构图意义。从构图中的各个元素来看，作为负责人的韦尔比（右）的办公桌凌乱不堪，米尔德丽德进来之前，他正趴在椅子上偷偷地看着女秘书，说话声音轻柔，年纪也轻。相反，米尔德丽德穿着干练的蓝布连衣裙，头发扎得很短，脸上没有化太多妆，皱纹却更多。 这种对比刻画出了米尔德丽德强悍干练的性格，而韦尔比则略显懦弱、不善言辞。这些服饰、道具方面的设定属于画面中的互动意义，对应着三种纯理性功能中的人际功能。这些元素与观者（观众）发生互动，促使观众对画面中表现的事物产生态度。
此外，镜头位置也能体现某种意义。这一幕中，米尔德丽德始终站立，而韦尔比则坐在一张靠背柔软的椅子上。统计显示，这一幕的28个镜头中，有18个体现了这种构图意义。同时，镜头中人物的突出也提高了前后画面衔接的流畅度。导演通过不同的视角传达了类似的互动意义和构图意义，为观众理解整个场景提供了更多的元素，也有助于分析这场对话中的人际功能和话语功能。
通过两幅画面的对比，我们可以看到，拍摄米尔德丽德的镜头是从上方拍摄的。观众与韦尔比处于同一位置，仰视着米尔德丽德，这更加体现了米尔德丽德的主角地位以及她在这场对话中的强大气场和声音。观众也会开始对主角产生敬意，甚至产生一丝畏惧。作为开篇就有对话的第一个场景，其丰富的多模态语义不仅为观众提供了丰富的背景信息，也更加有效地塑造了主角的人物形象。
为了说明主角之间的这种高低关系并非偶然，我们可以拿影片的第 49 场作为对比。在这一场中，韦尔比把米尔德丽德叫到办公室，告诉她自己已经欠了她一个月的广告牌租金，并向米尔德丽德施压，让她尽快还清。还是同一个场景，但这一次韦尔比全程站着，而付不起房租的米尔德丽德则坐在她对面的椅子上，处于弱势地位。与之相对应，其他多模态语义也发生了变化。
这对字幕翻译有何启示？
以前述《三块广告牌》的第二场为例，在视频画面中，构图意义往往通过摄影机的位置、运动轨迹、角度等体现出来，相应地，它也能提示译者视频中人物关系的强弱，此时，通过改变译文的词语、句子结构，就可达到体现这种意义的目的。
这里我们以第二幕中米尔德丽德的一句台词为例，简单分析一下七种译文的风格。
这个特写镜头拉近了观众与米尔德里德的距离，放大了她所说的话，使其更具互动性。当米尔德里德问租用广告牌一年要花多少钱时，韦伯利大吃一惊，说：“一年？除了那些迷失或失去理智的人，没有人会这么做。你真的想在那里租一年的广告牌吗？”然后，米尔德里德回答说：“快点，不是吗，韦尔比？”
韦尔比听完这句话后满脸的尴尬，这也体现了新概念。所以如果翻译成“你真聪明”，会显得米尔德丽德确实是在夸奖韦尔比（尤其是在讽刺语气不是很明显的情况下）。这会给观众对文章的理解带来一些困惑，因为这与米尔德丽德咄咄逼人的形象不符，无法解释韦尔比为何满脸尴尬而不是被表扬的喜悦。同时我们注意到，在中国大陆的本片配音版本中，这句话被译为“Just do it, Wilby”，也是语气更加强硬的翻译，配上强硬的语气，更符合原片，翻译也更对等。
为什么选择这个角度？
虽然几个版本的字幕之间有很大的差异，但如果观察一个字幕版本从头到尾的翻译风格，就会发现基本是一致的。较为简洁的字幕翻译版本，几乎每句话的信息都简化了；而最大程度保持原意的版本，也力求几乎每句话都忠实于原文（比如隐喻等）。
从不同版本字幕的字数和台词数，我们可以大致看出各版本信息删减的程度。虽然这个统计是在没有片头片尾的情况下的粗略统计，并非最准确的字幕字数，但还是可以看出不同版本配音风格的差异。
精译往往受到观众的喜爱，但这并不代表翻译好。有时，过于精译还会导致语域增加，导致人物说出“不恰当”的话。因此，综合考虑不同场景中的多模态符号，选择相应的字幕翻译策略是更好的选择。
如今，国内的字幕组蓬勃发展，但质量却参差不齐，我们提出这一新思考，希望能够为字幕翻译者提供更多元的思路，助力行业翻译水平的提升。
项目实施经验
这个项目历时一年，两位热爱电影的项目组成员逐渐筛选了百余部剧情片的片段，研究了电影剧本，建立了研究库，对比了从几部到几十部字幕翻译，最终生成了总结报告。思路一步步清晰起来，这也是科研活动的初步探索。由此，我们不仅尝试学习系统功能语言学和视觉语法理论，也对电影的表现手法进行了深入的思考。
结尾
参考
希望大家能把兴趣带到学习上~
