框架

“框架”这个词来自NLP（神经语言程序），其基本含义是一个人言行的潜台词。比如保险推销员在说服客户成交的时候会问：“您打算买多少额度呢，有十万、二十万一直到一百万的？”这句话的潜台词就是

假设客户已经决定购买了，只是需要确定一下购买额度。

当一个人的框架够强的时候，周围人都会认为他做的事情是对的，并且会跟随他，进入他的框架。所以框架是一种强有力的影响他人的技巧。有时候你在公交车上看到两个人相互挤到，强势的一方就会要求对方道歉，弱势的一方会让人觉得他本来就理亏。从极端的角度来讲，这个世界的规则都是强势者的框架形成的。在崇尚物质的夜店，有钱人被当做神来尊敬；但到了崇尚精神的寺庙里，金钱被视为身外之物甚至是粪土。所以孟子说，“贫贱不能移，威武不能屈，富贵不能淫，此之谓大丈夫”。所谓大丈夫就是框架很强的人，金钱、地位、武力这些外界价值观都不能影响他。

本书不是讨论形而上学的哲学读本，回到搭讪。搭讪时候你的框架就是，我来认识你是合理的，这样的方式虽然离经叛道，但其实超越世俗回归人性。这样你带出来的气势就会理直气壮，女孩拒绝你的时候甚至会说对不起。如果你的框架太弱，自己都认为搭讪是下流耍流氓，那么你的声音必然迟疑怯懦，女孩甚至会骂你神经病。女人像狗一样，她能嗅出你的气势，如果你害怕她就咬你，如果你强势她就怕你。 曾经有一个网友给过这样的搭讪建议，如果搭讪的时候女孩拒绝给你电话，你就做出很惊讶的表情，好像在说：“你怎么会拒绝我？”在这样强势的框架下，女孩都会觉得拒绝你是错误的。

我大学时候发生的一个故事最好地诠释了框架的概念。有一天晚上大家在宿舍听广播的时候，听到有个外语学院的女生宿舍在找工科男生做联谊宿舍。大家就让我打电话过去，打了几次发现占线。又有人想了个歪点子，打相邻的号码，必然也是外语学院的。我一打真打通了，还是一个女生接的电话，我当时很害怕，讲的第一句话就是：“我是被逼的??”然后提出要求相和她们联谊。那个女生毫不犹豫地拒绝我了。我同宿舍另外一个同学很气愤，又打过去，同样一个女孩接了电话，我同学把她骂了一通，他真的振振有词：“我们都是跨世纪的一代，你却这么保守落后。多认识一些朋友有什么不好？我们这里有七个国家重点大学的帅哥，你们能认识真是你们的福气。”没想到他这样骂完，那个女孩就道歉了，我们真的结成了联谊宿舍。

角色扮演

“角色扮演”是和女孩沟通时候重要的技巧，这个技巧的魔力在于，它能让人放下戒备，袒露内心隐秘的欲望。正因为是在闹着玩，不是真的，像过家家，所以什么话都可以说，什么事都可以做，即使周围有其他的人也都不会在意。女孩都有很强的戏剧意识，在谈话时候你为她设计一个角色，往往她就能很快进入这个角色，和你演戏演下去。对于周围其他的朋友，也享受这种幽默的气氛，不会受到负面影响。 大部分时候我会扮演一个备受女孩骚扰的帅哥角色，把女孩的各种言语行为解释成她想勾引我，把女孩代入主动追求者的角色。比如告诉女孩：“你刚才一直在偷看我。不要又跟我讲我看起来很眼熟这种老套的台词啊！”或者“我们才刚认识你就问我住在哪里，我还没准备好，我们需要更多的相互了解。”

冷读（Cold Reading）

在“2.4.5 如何临场发挥”这一节我们提到过可以根据许多细节推断对方的情况，比如家乡、职业、性格等，这种技巧叫做“冷读”。通过冷读的方式，沟通能迅速地进入到情感、个性等深层次的交流，而不再是工作、学习、天气这种无聊的话题。

常见的冷读包括看手相、看面相、字体识别、算命、星座、心理测试，更广泛的还包括读懂握手、口音、家庭布置等。

想想，刚见面一句“你握手很温柔，说明你是一个感情细腻的人。”可以马上拉近两个人的距离，让对方感觉你是一个认识多年的知己。或者刚开始交谈，你就说，“你肯定有一个弟弟或哥哥。”会让她惊呆住的，难道你早就认识我了么？

对于一个陌生人，怎样才能让她觉得你说的很有道理，说到她心窝里去呢？

这里边有非常多的技巧。算命大师都知道这些技巧，所以才能在几分钟内把一个陌生人的时候说得让他掏出钱来。

（1）女人具有很多共同点。尽管每个女人都有很多个性的地方，但共同和相似的地方还是占多数的。看看多少女孩喜欢逛街，喜欢看韩剧，喜欢约会迟到。有意思的是，你对一个女孩说一些共性的东西的时候，她不会意识到这些东西本来就是所有女孩都有的，而会当作自己特有的性格。比如说，“我知道你很喜欢小孩子??”这句话出错的概率实在小之又小吧。还有“你内心有时候很缺乏安全感。”她一定会点头，呀～你真是太了解我了。

（2）采用自相矛盾的表达。人都是矛盾的联合体，每个人表面的行为特征和内心的真实欲望往往是相反的。比如，“你表面很冷傲，但我知道你内心是个很狂热的人，很渴望忘我地释放自己。”或者反过来，“你表面上很开放、随意，但我知道其实你内心是个很害羞的人。”

（3）采用模糊的说法。算命的最会这一招。像印象派的油画一样，解读者会按照自己的理解赋予具体的含义。比如你说，“你最近生活或工作中一定遇到了一些挫折，让你感觉有点丧气、难过，但这些事情都会过去的。”女孩会想：WOW～太神了，她连我最近和男朋友吵架的事情也猜到了。

在附录里有许多冷读的惯例，可供参考。

假性失格

“假性失格”和“否定”都是很违背直觉的技巧，但并非创造出来的新东西，有很多人每天都在不自觉运用这些技巧。这是高价值的男人面对女孩的时候的自然流露，对女孩长期自卑的人从来没有试过这些做法，所以觉得不可思议。和否定类似，假性失格也是表达对女孩不感兴趣，侧重于女孩不够资格。典型的假性失格台词比如：“你太小了，我喜欢成熟气质的女孩。”或者：“你太乖乖女了，和你一起玩肯定很无聊。”

我在搭讪时候经常用的高大威猛男朋友开场白就是一种假性失格：“你在等男朋友吗？他是不是很高大威猛？那我和你说话太危险了，我还是站远一点好。”其他的假性失格例子：“感觉你穿这身衣服好像做保险的啊??不是啊，那就好。”

否定（Neg）

前面提到过在谈话时指出女孩的一些小毛病，比如“你说话的时候总眨眼睛。”或者“你说话的时候鼻子会动。”当你这样描述对方的时候，女孩会有一点小小的紧害羞，这就是国外的把妹达人迷男称之为否定的技巧。否定的目的在于显示你对女孩没有企图，能够绕过女孩和她的朋友对你的戒备，还能够轻微打击对方的自信。大部分男人在美女面前都会不由自主的想要恭维对方，你否定对方的做法会让你显得与众不同。

否定的技巧尤其适合自信度高的女孩，通常是高分美女。但也有许多女孩外表很漂亮，内心却自卑缺乏安全感，在现场要灵活把握。

需要注意的是，许多人误解了否定的技巧，以为否定就是挑刺、挖苦和贬损（圈内有个词叫“打压”），结果被女孩误以为他很粗鲁。如果你不能用一种玩笑的氛围去调情，就不要挖苦对方。如果你觉得否定的分寸实在难以把握，你不需要有意使用这样的技巧，只需要做一个正常人，同时把对方当普通人看待，不需要刻意的讨好，也不需要刻意的打压。因为有太多人到了美女面前就显得行为古怪，或者马屁连篇，或者装酷装君子，其实都是缺乏自信想要引起对方注意的表现。

再议东西方文化差异

再议东西方文化差异

昨晚看了自然道的文章《所谓“中西文化差异”在搭讪中真的存在吗？》 这是一个争论不休的话题。

其实正反两方说得都对。

说西方约会学不适用中国的人是拆散型人格，他们说话也喜欢抬杠，总看到别人有漏洞的地方。这种人其实有点消极倾向，看问题喜欢看阴暗面。说实话，我以前就是这样的人。不过学习PUA以后，我改变很多。我很诚恳地建议这些网友，看问题多看正面，PUA首先是一个积极乐观的人。

说西方约会学适用中国国情的人是配合型人格，能看到相同点。

西方约会学不适合中国国情的地方很多，主要是文化差异造成的，举个例子来说， 圈内有个经典的问题开场，“你是刷牙前用牙线还是刷牙后用牙线？” 如果把这个开场直接用在中国，大家根本不知道你在说什么。

不过我们也不是这么笨的学习者吧！

这个开场的作用在于引起话题，并且不直接显露对目标的兴趣。

明白这一点，我们完全可以设计适合自己的问题开场，比如“第一次和一个男生一起吃饭，你会买单吗？”

对于西方约会学，我们要“得意忘形”，不要去简单背记各种灌装材料和惯例，而要明白它的原理，并结合自身语言习惯和风格加以运用。

下面总结西方约会学中常见的术语，后面对比中文说法，真是相映成趣，异曲同工。

领会不当的地方也希望英语达人指出。

*蓝色为重点词汇。

第二篇：多模态话语分析综合理论框架探索

多模态话语分析综合理论框架探索

张德禄 中国海洋大学

摘 要： 本文旨在探讨如何为多模态话语分析建立一个理论框架，首先对多模态话语研

究动态进行了简单述评，然后根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架。这个框架主要由五个层面的系统及其次级范畴组成，分别是：(1)文化层面；(2)语境层面；(3)意义层面；(4)形式层面和(5)媒体层面，同时还探讨了各个模态之间的关系，分为互补性的和非互补性的两大类，最后探讨了非语言模态的语法结构的建立、语法结构与语篇结构之间的关系以及语法结

构是如何体现概念意义、人际意义和谋篇意义的。

主题词： 多模态；话语；框架；语法；关系

中图分类号：H0-06 文献标识码：A 文章编号：1672-9382(2009) 01-0024-07

1

引言

作者简介：张德禄，中国海洋大学外国语学院教授、博士生导师。在话语分析理论如火如荼的发展中，人们发现单纯从语言的角度已经不能对话语进行深入全面的分析和研究，因为话语的意义中的一大部分是由非语言因素体现的，如伴语言特征：音响度、声调、语调、音速等，身体特征：手势、身势、面部表情、动作、移动等，非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉，盲文是触觉等，而是用两种或者多种感官同时进行，如用PPT上课则是视觉与听觉同时进行的；模拟与讲解则是听觉、视觉和触觉同时进行的。以这种交际方式产生的话语就是多模态话语。

然而，如何在话语分析中把多种媒体和多种模态结合起来进行分析解读是现代语言学研究，特别是话语分析研究应该特别注意解决的到了现代语言学研究中，人们才开始从非语言特征和伴随语言特征的角度研究它，不过只作为一种语言的辅助表达系统，没有作为意义表达模态来研究。随着多媒体话语的产生，人们直到最近几年才逐步认识到其重要性，将其作为一个独立的学术领域进行研究。

在多模态话语分析方面最早的研究者之一是R. Barthes，他在19xx年发表的论文《图像的修辞》( Rhetoric of the image)中探讨了图像在表达意义上与语言的相互作用；Kress, G. & van Leeuwen, T. (1996; 2001; 2003)研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等；O’Halloran, K. L. (2004)不仅研究多模态的理论建构，还专门研究了数学语篇中的多模态现象；Royce, T. (2002)研究了不同符号在多模态话语中的互补性以及在第二语言课堂教学中多模态的协同性等。

国内多模态话语的研究还处在起始阶段，尚未见到专著出版，只有数量不多的论文，其中胡壮麟的“社会符号学研究中的多模态化”(2007)讨论了多模态符号学和多媒体符号学的区别，介绍了具有媒体和模态双重特性的计算符号学，并指出人类进入社会符号学多模态化的新世纪，对多模态识读能力的培养应引起重视。其他研究包括李战子(2003)用系统功能语言学理论对多模态话语理论的研究。

2

多模态话语分析的理论基础

多模态话语的最合适的理论模式是系统功能语言学理论，因为它不需要为适应新的目的而对理论框架本身进行改造。虽然多模态话语分析似乎扩大了它的研究范围，但系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。这个框架主要由五个层面的系统组成(Martin, 1992)。这五个层面分别是：

(1) 文化层面，包括作为文化的主要存在形式的意识形态和作为话语模式的选择潜势的体裁或者称体裁结构潜势。

(2) 语境层面，包括由话语范围、话语基调和话语方式组成的语境构型。

(3) 意义层面，包括由几个部分组成的话语意义及概念意义、人际意义和谋篇意义。

(4) 形式层面，实现意义的不同形式系统，包括语言的词汇语法系统，视觉性的表意形体和视觉语法系统，听觉性的表意形体和听觉语法系统，触觉性的表意形体和触觉语法系统等以及各个模态的语法之间的关系，分为互补性的和非互补性的两大类。互补性包括强化和非强化两类；非互补包括内包、交叠、增减、情景交互。

(5) 媒体层面，是话语最终在物质世界表现的物质形式，包括语言的和非语言的两大类。语言的包括纯语言的和伴语言的两类；非语言的包括身体性的和非身体性的两类。身体性的包括面部表情、手势、身势和动作等因素；非身体性的包括工具性的，如PPT、实验室、网络平台、实物(投影)、音响、同声传译室等。

下面我们按照从下到上的顺序分别进行探讨，即首先探讨媒体层面可以实现意义的媒体形式，然后探讨在形式层面可以实现的意义的模态及其之间的关系，接着探讨多模态话语分析的综合框架，最后初步探讨多模态话语语法系统的特点。

体意义的改变。

3.2 非语言媒体

分为三个类别：

(1) 媒体符号等。

(2) 并立、踢跳、弯伸等。

(3) 拟等。

伴语言*①

语言多模态话语媒体系统

纯语言

身体

3

多模态话语的媒体系统

3.1 语言媒体

从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。这两种媒体是语言传播信息的主要媒介。但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。

伴随语言的媒体形式对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音

非语言

非身体

图 1 多模态话语媒体系统

4

多模态话语的形式及其关系

4.1 多模态话语的形式

媒体本身只是意义传递的载体，本身并不带有一定的意义，只有通过形式层面的组织和模式化才具有直接表达意义的能力。形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义，如在交通信号系统中，红色表示“停止”，绿色表示“走”，橘红色表示“准备走或停”。语言中的象声词有这种特性。由这种符号组成的符号系统通常没有能产性、任意性，由两个层次的代码组成(媒介与意义)，所以其用途有限。另一种方法是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双分性，由三个层次的代码组成(媒介、形式(词汇语法)和意义)。语言属于这一类。是否其他的媒体符号也都有这种特性，是需要进行探讨和分析的。鉴于语言符号和其他符号具有替代性和互补性，我们认为其他语言符号也具有形式层，只是我们还没有认识，或者没有认识清楚而已。所以在我们的分析框架中，语言和非语言的媒体具有相似的词汇语法系统。

在词汇语法系统中，我们仍然区分本身具有一个已经赋予意义的项目和把这些项目组合为更复杂的结构体的规则系统。在语言中，前者称为词汇，后者称为语法。由此，在其他媒体中，我们可以区分：(1)图像形体和图像语法，前者是本身可以实现一定意义的图像项目，后者是不同项目组合后形成的图像结构体，可体现一定的(更复杂的)意义。(2)声响形体和声响语法，前者是本身可以实现一定意义的声音项目，后者是不同项目组合后形成的声音结构体，可体现一定的(更复杂的)意义。(3)感触形体和感触语法，前者是本身可以实现一定意义的可触形体项目，后者是不同项目组合后形成的感触结构体，可体现一定的(更复杂的)意义，以此类推。

在探讨多模态话语形式之间的关系时，我们需要首先考虑一个问题：为什么人类在交际中会用多模态？是为了有趣，是随意的，是生理和心理的自然表现的结果，还是因为一种模态不能，或者不能充分表达交际者的意义？可能两种情况都有，但最主要的应该是后者，即一种模态不足以表达清楚交际者的意义，从而利用另一者来进行强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的。

从这个角度讲，不同模态的话语实际上都是为了体现讲话者的整体意义的。典型的多模态话语模式是一种模态的话语不能充分表达其意义，或者无法表达其全部意义，需要借助另一种来补充，我们把这种模态之间的关系称为“互补关系”，而把其他的称为非互补关系。

在互补关系中，我们还需要区分强化关系与非强化关系。所谓强化关系是说一种模态是主要的交际形式，而另一种或者多种形式是对它的强化。例如，如果语言是主要的交际形式，那么手势、身势等交际形式就只是起强化作用。反之，在主要以其他方式，如图画、舞蹈为交际形式时，语言可能只是辅助的、起强化作用的。在强化关系中，一种模态的形式只提供背景信息。如在话剧中，图形幕景提供背景信息，而声音语言话语则是前景化的，从而使讲的话语突出出来。在讲话时打手势则是一种辅助手段，所以是次要模态。而在播放布什的讲话时同时播放他在某些重大事件中的一些录像片段是对声音表达的意义的扩充。所以强化关系可以包括突出、主次和扩充三种关系。

非强化关系表示两种交际模态缺一不可，互为补充的关系，特别是听觉和视觉的结合。在非强化关系中，我们可以区分协调、联合和交叉几种形式。在协调关系中，不同的模态共同表达交际者的整体意义，缺乏任何一者将不完整。例如，在播放录像画面时，同时播放声音。图像和声音都是必需的，不然交际将难以理解。这是一种典型的相互协调模式。在同一种模态中，不同类型的媒体可以形成联合关系，共同来体现意义。例如在录像这种多模态话语形式中，与动画相匹配的声音与解说的声音联合体现听觉所实现的意义。还有一种交叉体现意义的现象，例如交际者可以在边工作、边做事的同时，讲解他做的事情的经过和原理、原因等，从而形成两种模态交叉体现整体意义的现象。这样，非强化关系可以归结为协调、联合和交叉。

非互补关系表示第二种模态对第一种在

意义的体现上并没有大的贡献，但仍然作为一种模态出现。这种关系一般体现为以下几种形式：交叠、内包和语境交互。

交叠现象是两种或多种模态同时出现，但它们之间并没有相互强化关系。这种现象可以在PPT中出现。例如，PPT画面上出现的是所有讲话者要讲的内容，讲话者只需要像读课本一样来读PPT画面上的内容，或者是大家一起来读这些内容。没有附加，也没有缩减。这就是交叠现象。第二种没有对第一种做出大的补充或者强化现象。这显然是一种冗余现象，其作用只是为讲话者的阅读提供了方便，或者为听话者阅读提供了方便。

如果冗余现象还是一种正向的贡献的话，那么模态之间也可以形成相互排斥和相互抵消的关系。这种交叠常常不是有意的，积极的，而是被动的，或者是不可抗拒的。例如阅读时，周围出现的噪音、歌声。这样一种模态的话语对另一种起到抵消作用。还有一种情况是两种模态水火不相容。例如，当你思考问题时，其他人找你说话；当你写作时，有人给你打电话等。感觉与听觉，视觉和听觉形成矛盾模态，从而形成相互排斥的关系。

这样，交叠包含冗余、抵消和排斥三种关系。内包则是第二种，或者多种不同或者同种模态，对整体意义的表达没有新的贡献，而只是给予更加具体的信息。内包可以分为整体与部分和抽象与具体两种关系。在整体与部分关系中，第二种模态提供的是部分信息，而不是附加另外的信息。例如，在讲蜜蜂时，画面出现具体的蜜蜂飞翔和采蜜的画面；在谈论身体时，出现人的面部、四肢、躯干等画面。在抽象与具体关系中，在谈论动物时，出现狗、鸡鸭、鱼虾等动物的画面等。虽然第二种模态没有提供不同的信息，但可以使第一种模态提供的信息更加具体和形象。

模态与语境的关系可以看作是积极模态和消极模态之间的关系。情景可以直接参与交际过程，但它本身不能以积极的方式参与进去，而是根据交际者的交际目的和采用的交际方式而被“拉”进交际过程中去。例如，你在给你的朋友写一封有关你如何写博士论文的信时，雪花纷飞，天气寒冷。这些环境因素和你写信没有任何关系，它们不会参与到你的话语交际中，表现出情景独立性，语篇仍然是单模态的。但如果你在和朋友谈论天如何下雪以及雪的大小、下雪的方式等时，下雪的过程、方式和现状都会直接参与

赖性以由图多模态话语形式及关系

图 2 5

别。

发现它们之间的协调、联合、互补等关系。所以，目前多模态话语研究的重点还是不同模态的形式特征和它们之间的关系。

6

多模态话语语法的建构

在多模态话语选择中最关键的因素是如何使不同模态相互配合来获得最佳交际效果，而这种模态之间的配合主要是在形式层面，特别是语法层面表现出来的。根据系统功能语言学理论(Halliday, 1973; 1985)，语言要同时体现三种元功能——概念功能、人际功能、谋篇功能。那么，从多模态话语的角度讲，除了语言之外，其他符号系统也同样是实现三个元功能的系统，如Kress & van Leeuwen (1996)和O’Toole (1994)把多元功能的思想延伸到图像上，提出视觉语法的概念；O’Toole (1994)则提出了一个更具体的以多元功能分析为基础的用于分析绘画的模式。

从这个角度讲，我们有两个问题需要考虑：一是每个符号系统的语法如何确定？二是各个符号系统的语法如何相互协作来共同实现三个元功能？

从第一个问题的角度讲，系统功能语言学确定语言成分的基本标准是其实现元功能所表现出来的特性，这显然也适用于其他的符号系统。例如，“皮特在一次车祸中身亡。”可以用英语表示为：Peter was killed in a traffic accident，其语法结构是物质过程：目标—物质过程—情景：地点。用图像可以表示为一个车毁人亡的场面，其主要成分有已经死亡的皮特，已经毁坏的车和以公路为主的场景，表示发生了车祸，皮特在车祸中死了。这是一个以结果为主的场面，所以实际表达的是关系过程，表示：皮特已经在车祸中死亡；当然也可以表现为车祸的过程，表示皮特正在遭遇车祸，是物质过程；还可以是一段录像，形象地展现皮特遭遇车祸的过程，是物质过程。当然，还可以由语音体现：“Peter was killed in a traffic accident.” 或者是一段发生车祸的声音，如车的刹车声，配上皮特的喊叫声，都可表示皮特遭遇车祸的过程。

那么，我们如何像分析句子一样来分析这些图像或录像的语法结构呢？Lim(2004)在分析图像语法时曾提出如下语法单位：成员(member)、图式(figure)、情节(episode)和作品(work)。这显然是话语结构的单位而不是语法结构的单位。语言语篇的基本单位是小句，而每个小句都由小句结构成分组成。每个小句都在语篇结构中有一定功能。所以，在多模态

图 3 多模态话语分析综合框架

这个框架分为四个层面：文化层面、语境层面、内容层面和表达层面。文化层面是使多模态交际成为可能的关键层面。交际的传统、交际的形式和技术都是由这个层面来决定的。没有这个层面，情景语境就没有解释能力。这个层面包括由人的思维模式、处世哲学、生活习惯以及一切社会的潜规则所组成的意识形态，和可以具体实现这种意识形态的交际程序或结构潜势，称为体裁。

在具体的语境中，交际要受到语境因素的制约，包括话语范围、话语基调、话语方式所决定的语境因素。同时，这个过程还要实现所选择的体裁，以一定的交际模式进行。

在话语意义层面，有由话语范围、话语基调和话语方式所制约的概念意义、人际意义和

互配合：图像语法对语言语法起辅助作用，使其更加具体和形象化。在听觉语法中，读句子的发音和车祸发生时的声音相互配合：后者为前者提供辅助信息，特别是情景信息。最后是听觉语法与视觉语法的配合：视觉语法为听觉语法提供辅助信息。这两种模态所代表的几种媒体的语法结构都可以用相同的语法结构来表示：即Peter was killed in a traffic accident，当然在图像和录像中还具有附加信息，特别有关情景的附加信息，如on the highway in the evening at a high speed等。

London: Leicester University Press, 1994.[6] Royce, T. Multimodality in the TESOL

classroom: Exploring visual-verbal synergy [J]. TESOL QUARTERLY, 2002, 36(2). 191-205.[7] Halliday, M.A.K. Explorations in the Functions

of Language [M]. London: Edward Arnold, 1973.[8] Halliday, M.A.K. & Hasan, R. Language, Context

and Text: A Social Semiotic Perspective [M]. Geelong, Vic.: Deakin University Press, 1985.[9] Halliday, M.A.K. & Matthiessen, C.M.I.M.

Introduction to Functional Grammar [M]. London: Edward Arnold, 2004.

[10] Halliday, M.A.K. & Matthiessen, C.M.I.M. Construing

Experience Through Meaning: A Language-based Approach to Cognition [M]. London: Cassell, 1999.[11] Lim Fei, V. Developing an integrative multi-semiotic

model [A]. In O’Halloran, Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C]. London: Continuum, 2004: 220-246.[12] Martin, J.R. English Text: System and Structure

[M]. Amsterdam: John Benjamins, 1992.[13] 胡壮麟. 社会符号学研究中的多模态化 [J]. 语

言教学与研究, 2007(1).

[14] 李战子. 多模式话语的社会符号学分析 [J]. 外

语研究, 2003(5).

[15] 朱永生. 多模态话语分析的理论基础与研究

方法 [J]. 外语学刊, 2007(5).

7

结语

综上所述，系统功能语言学为多模态话语

分析和研究提供了理论基础。多模态话语可以从文化、情景、话语意义、语法、形式和媒介多个层次进行研究。从媒体的角度讲，各种不同的非语言媒体，特别是现代技术媒体，为话语交际提供了大量新的可选择方式。它们可以通过不同的模态来实现话语的意义。在多模态话语中，不同模态的话语之间是相互联系的，这些关系我们把它们归结为互补与非互补。在互补中，又有强化与非强化之分在非互补关系中，可以区分内包、交叠与语境交互几个类别。在语法层面上，每一种模态都有自己的语法来体现话语意义。本文提出了图像语法的单位(图素、图式、图像)以及它们的语法结构及其与话语结构之间的关系。所谓模态之间的关系实际上是这些语法系统之间在体现话语意义上的关系。对于不同模态的语法和词汇，它们之间在共同体现话语意义上的关系以及一定的话语以什么模态和媒体表达最为有效，是需要进一步认真研究的课题。 注释

① *表示可选择性

参考文献

[1] O’Halloran, Kay L. Multimodal Discourse

Analysis: Systemic-Functional Perspectives [C]. London: Continuum, 2004.

Multimodal

On A Synthetic Theoretical Framework for

Multimodal Discourse Analysis

Abstract: The present article is intended to set up a theoretical framework for multimodal discourse analysis. It first gives a brief survey to studies on multimodal discourse analysis, and then sets up a synthetic theoretical framework for multimodal discourse analysis on the basis of systemic functional linguistics. The framework mainly consists of multimodal discourse systems at fi ve levels: (1) The level of context of culture, (2) the level of context of situation, (3) the semantic level, (4) the formal level and (5) the level of media (substance). At the same time, it also studies the relationship between the diff erent modalities, including both complementary relationship and non-complementary relationship, and at last it investigates the establishment of grammatical systems for non-linguistic modalities, and the ways the grammatical structures of diff erent modalities realize the ideational, interpersonal and textual meanings.Key Words: multimodality; discourse; framework; grammar; relationship