多模态视频新闻话语识读
多模态视频新闻话语识读 一、新闻话语分析的研究现状 过去5年间，国际间出版的基于语料库的期刊论文、专著、论文集，着眼 于话语研究的也大幅增加。可见，经过数十年发展，学者们已不满足于词汇和短 语层面的语料库研究，希望基于此前词汇研究的成功经验，开展更多话语语用方 面的研究，使语料库方法在语言研究中发挥更为重要的作用。目前语言学研究者 对新闻英语的研究主要涉及新闻导语的语言特点、新闻文体特点、新闻语言的模 糊性、新闻语篇特征等。多数研究者以报纸、报刊为基础进行文本分析，利用语 料库技术和方法，主要以词汇、词表、搭配、主题词等为主要分析手段，研究结 论主要停留于词汇和浅层句法层面上。另外，在数据源方面国内尚未出现规模较 大电视新闻英语语料库，因此开展视频新闻话语分析缺乏足够的数据支持，多为 以新闻个案为主的定性分析，定性与定量相结合的视频新闻话语分析相对较少。二、多模态视频新闻话语分析及其理论基础 近年来，多模态话语分析技术发展迅速，多模态分析已广泛运用到符号学、 哲学、社会学、人类学、政治学、新闻学、心理学、法学、美学和医学等各领域 研究对象也从语言文字扩展到音乐、图片、影像、网页设计等多种社会符号系统。
人们在具体社会情境中总是运用多种符号资源来建构意义，本身就具有多模态性， 而多模态的研究方法就是将语言及其相关的资源整合起来，尽可能保持实际话语 的原貌。文艳主要考察了教师语音语调等音韵特征是如何辅助课堂教学的，并比 较了不同教师音韵策略的运用。王立非教授呼吁将多模态分析技术应用到第二语 言研究中，并提出可以对演讲话语、教师课堂话语、学生口头中介语、商务英语 谈判话语、电视英语新闻等进行多模态分析。多模态语篇被理解为除了文本以外， 还带有图像、图表等的复合话语，或者说由一种以上的符号编码实现意义的文本。
多模态话语的最合适的理论模式是系统功能语言学理论，因为它不需要为适应新 的目的而对理论框架本身进行改造。虽然多模态话语分析似乎扩大了它的研究范 围，但系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。
三、视频新闻话语的多模态分析方法及其特点 （一）多模态视频新闻分析工具与方法 在自建电视新闻英语多模态语料库的基础上，研究电视新闻英语的多模态话语特征，利用语料库研究方法分析电视新闻英语的核心话语特征，解构电视新 闻话语音、图、动画、文本与意义之间的关系，揭示其与意义的生成与传递的联 系。多模态分析的工具有多种，以由马普心理语言学研究所设计开发的一个音视 频标注软件为主，可以用来标注和分析说话人的话语内容、语音语调、面部表情、 唇形、肩部和手的动作等多模态内容。文中采用美国有线新闻电视台对美国“加 油站的政治”的报道片段为对象，通过人工转写，制定编码方案，对肢体语言、 语音语调以及视频动作三个方面进行编码标注。
（二）语音特征 本文对新闻视频中主持人和解说的语音语调进行标注，包含升调、平调、 降调、短暂停、静音、重音、节奏等多个方面。分析发现主持人具有地道的美国 英语语音语调，节奏感强，抑扬顿挫，经常运用到音韵策略，辅以肢体语言和面 部表情进行意义传递；
语速总体呈快速，达到每分钟192词左右，但是对于报道 要点，会对关键字或词会放慢速度，并以重读的方式强调，有时会进行短暂停顿， 配合动态文本或画面，实现整体快中有慢，富有节奏感的成功报道。
（三）肢体话语 主持人的表情、手势、服饰、坐姿等等都可能与节目内容产生联系，与受 众取得更好的沟通。因此，在电视节目主持人的种种传播手段中，除语言符号外， 非语言符号的运用也成为主持人传播的重要策略。通过标注主持人以及新闻中主 要人物的肢体语言，发现主持人的面部表情动作与新闻意义传达、主持人立场态 度呈正相关关系。另外，除支持人的肢体语言外，新闻视频现场角色的肢体语言 在意义生成与传递、新闻理解、与观众互动等方面也有重要的不可忽视的意义。
同意话题下，不同身份的角色持不同的观点和态度，肢体话语差别也较大。比如， 奥巴马总统谈及自己的新石油政策时面带微笑，表达出乐观的态度；
谈及总统竞 选人借石油价格问题谋取政治利益（选票）时，手部伴有重复、连续、有力的节 拍动作，语气坚定，显示其批判及不满态度。在总统竞选的重要候选人演讲现场 画面，谈及油价形式会越来越糟，价格可能有四美元升至五美元甚至六美元的可 能。其面部表情痛苦，不断皱眉，头部频繁左右倾斜，做摇头动作，嘴角向左下 倾斜，手部动作做上升状，显示其担忧民生问题，十分亲民的心情与诚恳的态度。
另一名候选人在演讲时，心态放松，面带微笑，语调轻快，手部叉腰，以幽默风 趣的话语反讽奥巴马解决经济问题纸上谈兵，引发观众大笑。
（四）转场话语本段视频持续一分四十八秒，包含六个主要的主场景。场景之间切换采用 先总后分，逐步展开的方式，首先主持人介绍油价攀升主要数据，静态图文配以 主持人解说；
其次，切换至现场记者，引入对总统奥巴马的采访及其对石油问题 已成为竞选拉票的筹码的看法；
再次，依次分别切换至三位不同的总统竞选人演 讲现场，最后报道结束。多个分场景之间话语转换并没有支持人背景解说，而是 通过插图、插文本的方式，以及前后视频的自然衔接，以故事情节的方式自然转 换。
（五）图文话语 新闻中图文并茂，相辅相成。静态图片的选择、处理与呈现方式，文本字 体、颜色、动态运动等多种模态属性，以及图文混编的整体视觉效果对意义传递 有重要的辅助作用。下面以静态文本、动态文本、特效文本等多种表现形式为例， 佐证其对话语意义的作用。比如候选人演讲现场的背景有一个特别数字“250”， 代表该候选人的竞选承诺即控制油价在2.5美元。讲到油价飙升时，辅以计价器 动态数字高速变化强调“飙升”二字，既能有助意义表达，又能突出话语的语用功 能。报道夏威夷平均油价为4.48美元时，屏幕中间出现一行明显的白色斜体动态 文本“$4.48”，强调油价居高位，表达出问题的严重性。
四、结语 外语教学中，视频新闻作为重要的学习材料，是学习者拓展知识面，提高 语言综合技能的重要手段，即是中、高年级教学的重点，又是难点。研究以多模 态话语分析为切入点，从语言本身出发，以多模态的方法解构新闻话语的特点， 为英语教学提供新的解决方案。