言語学におけるマルチモダリティ（multimodality）/マルチモーダル（multimodal）とは何か

目次

マルチモダリティ（multimodality）/マルチモーダル（multimodal）とは？

この記事では、言語学におけるマルチモダリティ/マルチモーダルについて簡単に紹介します。

言語学は、名前のとおり「言語」に着目して分析していく分野です。

ただ、「言語」を分析する際に、言語を見るだけでは不十分で、言語と一緒に共起する、様々な言語以外の要素の効果も理解することが必要と言われています（Kress 2009)。

 

例えば、以下の警告文を見てください。

言語のみに着目すると「広告　チラシ　お断り！」だけです。

ただ、それだけでなく、派手な色（赤・黄色）や、文字の背景にある「×」の印、フォントなどもこの警告文の効果に寄与していると考えられます。

マルチモダリティは、言語のみならず、画像、ジェスチャー、姿勢、目線、色などにも着目した概念です。

それだけいうと、言語の役割を軽くみるということなのかなと言われることもあるようです。ただ、そうではなく、言語を単独でみるのではなく、様々な他の要素とともに言語を見ることがマルチモダリティの目的です（Jewitt et al. 2016）。

マルチモダリティというのは、multi（複数・多数）＋ modality（モダリティ）で成り立っています。

マルチモーダル（multimodal）という用語もよく使われますが、これはmultimodalityの形容詞の形になります。

 

モード（mode）

この形容詞のmodalも、名詞のmodalityも、そもそも「mode」という言葉からきています。

モード（mode）は、意味を作るための記号資源（semiotic resources）のことを言います。

記号資源というとわかりにくいので、具体例を見たほうが早いと思います。

New London Group （1996）は、以下のような5つのモードを挙げています。

  • 言語（スピーチ・ライティングなど）
  • 音声（音楽、サウンド効果など）
  • 視覚（画像、動画など）
  • ジェスチャー（目線、姿勢、身振り手振りなど）
  • 空間（設置位置やレイアウトなど）

何かのメッセージを伝える際は、言語のみならず、音声、視覚、ジェスチャー、空間などのモードを選択したり、組み合わせたりして意味を構築しています。

例1

先ほどあげた警告文の例をもう一度見てみます。

この警告文は、言語や視覚（色・フォント・「×」の印）のモードを組み合わせて構成されていることがわかります。

黄色・赤という派手な色と、「×」を加えることで、「広告　チラシ　お断り！」という言語の重要性が、より際立っているともいえるのではないでしょうか。

例2

大人数の前でプレゼンテーションをする場合も考えてみます。

少し考えるだけでも、以下のように、数多くのモードが関係していることがわかります。

 

  • 言語→話す内容、ハンドアウトやプレゼン資料の内容など
  • 音声→声のトーン、大きさなど
  • 視覚→本人の服装、発表資料・パワーポイントの中の画像・色など
  • ジェスチャー→目線、姿勢、身振り手振りなど
  • 空間→椅子・机の配置、参加者との距離など

 

マルチモダリティでは、この中のどれか一つを着目するのではなく、数々のモードがどう関わり合いながら、意味を構成しているかを観察します。

マルチモダリティの重要な点

Jewitt et al. (2016, p. 3）は、マルチモダリティの重要な点として、以下の3つを挙げています。

1. Meaning is made with different semiotic resources, each offering distinct potentialities and limitations.
(意味は、異なる記号資源から作られる。各資源がそれぞれの可能性・限界がある。）

2. Meaning making involves the production of multimodal wholes.
（意味の生成には、マルチモーダル全体の構築が関係する）

3. If we want to study meaning, we need to attend to all semiotic resources being used to make a complete whole.
（意味を学びたければ、完全な全体を作るために使用されているすべての記号資源に注意を払う必要がある。）

言語には言語の、音声には音声の、視覚には視覚の可能性と限界があります。

マルチモダリティは、こういう可能性と限界の中で、どのような記号資源が関わり合って意味を作り出しているのかを考えます。

 

モダリティとマルチモダリティの違い

マルチモダリティというのは、複数のモードを考慮にいれていくことです。

ただ、混乱するポイントは「モダリティ」という言葉が入っている点です。

 

「モダリティ」という用語は、単独で使うと、一般に言語学では話している内容や聞き手に対する話し手の判断・態度に関する言語表現という意味になります（詳しくは「モダリティ（法性）とは何か？対事的モダリティと対人的モダリティの違い」をご覧ください）。

日本語では、「かもしれない」「だろう」「～らしい」「～ようだ」「～はずだ」のような表現がモダリティに入れられます。

モダリティは文法範疇の一つになります。

「マルチモダリティ」には「モダリティ」という用語が入っているので、この文法範疇のモダリティと関係あるのではと考えてしまうかもしれません。
ただ、マルチモダリティは、あくまで複数のモードを考えるという概念で、文法範疇ではありません。
つまり、文法範疇をあらわすモダリティと、マルチモダリティは全く別物と考えたほうがいいと思います。

ご興味のある方は

マルチモダリティ/マルチモーダルについて簡単に説明しました。
ご興味のある方は以下の記事もご覧ください。
マルチモダリティに関しては、以下の本が分かりやすいと思います。

 

 

その他言語学の最新記事8件