Культура

Анализ мультимодальных культурных объектов

Павлова Татьяна Анатольевна
Студент, Российский государственный гуманитарный университет, РФ, г. Москва, pavlovata@yandex.ru

Аннотация: Статья посвящена актуальной проблеме практического применения мультимодального анализа. Цель – разработать междисциплинарную методику анализа мультимодальных культурных объектов, объединяющую семиотический подход, мультимодальный дискурс-анализ и структурный анализ коммуникации. Автор анализирует организацию и уровни кодирования модусов на материале выставки «Письма к Тео» галереи Artplay. Предложенная методика позволяет оценить влияние кодирования модусов на коммуникативную эффективность.
Ключевые слова: мультимодальность, семиотический анализ, код, дискурс-анализ, функции сообщения.

Pavlova Tatiana Anatolyevna
Student, Russian State University for Humanities, Russia, Moscow

Abstract: The article is devoted to the actual problem of the practical application of multimodal analysis. The goal is to develop an interdisciplinary methodology for the analysis of multimodal cultural objects, which combines semiotic approach, multimodal discourse analysis, and structural analysis of communication. The author analyzes the organization of modes and their levels of coding based on the exhibition "Letters to Theo" at Artplay Gallery. The proposed methodology allows for assessing the impact of coding modes on communicative efficiency.
Keywords: multimodality, semiotic analysis, code, discourse analysis, message functions.

В социогуманитарных исследованиях последних двух десятилетий одним из актуальных направлений является анализ мультимодальных объектов. Феномен мультимодальности неотделим от человеческого восприятия, а модус – это «способ представления, трансляции и получения информации, ориентированный на рецепторные возможности индивида» [1, с. 60]. Однако в современном обществе благодаря развитию цифровых технологий, росту интерактивности и иммерсивности новых медиа мультимодальные объекты усложняются и становятся неотъемлемой частью социальных и культурных практик. В этих условиях «семиотические ресурсы не только сосуществуют и кооперируются в составе коммуникативного события, но и становятся объектом перевода» [2, с. 433].

Несмотря на популярность и востребованность мультимодальных исследований, их практическое применение в сфере культурологии все еще представляет определенные сложности. М. В. Загидуллина отмечает, что «мультимодальный анализ в большей мере декларируется, то есть освоен, скорее, теоретически, нежели практически» [3, с. 95], и с этим сложно не согласиться. Само разнообразие теоретико-методологических подходов к изучению феномена мультимодальности, отсутствие единого терминологического аппарата становится серьезным вызовом для исследователя, который ставит перед собой задачу проанализировать конкретный мультимодальный объект.

В данной статье предлагается междисциплинарная методика анализа мультимодальных культурных объектов, основанная на синтезе трех теоретико-методологических подходов: семиотического анализа, мультимодального дискурс-анализа и структурного анализа коммуникации (в частности, с использованием функциональной модели Р. Я. Якобсона).

Опираясь на ключевые понятия этих подходов – код, знак, модус, модель коммуникации, дискурс, – проанализируем организацию и кодирование модусов культурного объекта на примере выставки «Письма к Тео» галереи Artplay в г. Москве (рис.1). Эта выставка, посвященная творчеству Винсента Ван Гога, представляет собой мультимедийный сеанс, включающий как вербальные (письменный текст, аудиотекст), так и невербальные модусы (видеоряд, музыкальный ряд). Напомним, что по определению Дж. Бейтмана, Дж. Уилдфера и Т. Хиппалы мультимодальность «включает различные семиотические модусы и нацелена на повышенную эффективность коммуникации» [4, с.92], поэтому одним из аспектов нашего анализа будет оценка влияния кодирования модусов на коммуникативную эффективность.

На первом этапе анализа мы систематизируем семиотические коды, объединив их в три уровня. 

Под кодом мы будем понимать «систему знаков и условий их использования, определяющую, в каких комбинациях они могут выступать, чтобы передать сложные значения» [8, с. 88]. Взяв за основу типологию кодов, разработанную Умберто Эко [5, с. 157–160], мы предлагаем ввести разделение кодов на уровни в зависимости от их функций.

1. Уровень узнавания

1) Коды восприятия устанавливают необходимые и достаточные условия восприятия.

2) Коды узнавания позволяют опознать объект на основе отличительных черт.

3) Коды передачи определяют первоначальные условия восприятия, необходимые для последующего формирования образов.

Первый уровень кодирования связан со способностью выделять отдельные элементы из потока информации и «опознавать» их. Он тесно связан с технологической модальностью объекта – в случае выставки это технико-технологическое обеспечение, особенности освещения, размер изображений и шрифта, уровень громкости звука и т.д. Если зритель не декодирует сообщение на этом уровне, на следующих уровнях искажаются значения или сообщение в целом воспринимается как шум.

2. Уровень значения

1) Тональные коды коннотируют «тональность» знака и дополняют иконический код.

2) Иконические коды основываются на восприятии элементов, сформированных кодом передачи.

3) Иконографические коды делают изображение узнаваемым по стабильным признакам, например, изображения Рождества для представителей христианской культуры.

4) Коды вкуса и сенсорные коды устанавливают репертуар коннотаций, связанных с действием всех перечисленных кодов.

На втором уровне зритель соотносит знаки с их денотативными и коннотативными значениями и соединяет знаки в предложения (как в вербальном, так и невербальном тексте).  

3. Уровень интерпретации

1) Риторические коды

2) Стилистические коды

3) Коды бессознательного

На третьем уровне зритель воспринимает нарративные структуры, тропы, риторические фигуры, стилистические приемы. Эти коды глубоко укоренены в культурном контексте, интертекстуальны и предполагают способность зрителя обращаться к обширной «энциклопедии» культурных текстов для их декодирования. Производя декодирование на этом уровне, зритель вступает в область интерпретации.

Для анализа выставки «Письма к Тео» как мультимодального объекта мы предлагаем разделить ее на фрагменты и транскрибировать содержание модусов первого фрагмента (табл.1). Следующая задача заключается в выявлении уровней кодирования в рамках каждого модуса и оценке степени согласованности значений, которые формируются на этих уровнях. Наконец, мы производим оценку эффективности мультимодальной коммуникации, т.е. определяем, насколько коды разных модусов согласованы друг с другом или вступают в противоречие. Для этого мы считаем возможным опереться на модель языка Р. Якобсона и описанные им функции сообщения [6, с.198–203].

Для приведенного нами фрагмента выставки (табл.1) можно сделать следующие выводы:

1) На первом уровне кодирования выявлена неравнозначность модусов, восприятие зрителями письменного текста затруднено и требует осознанного усилия.

2) На втором уровне кодирования и в вербальных, и в невербальных модусах активно используются иконографические коды, т.е. словосочетания или визуальные образы с устойчивым репертуаром коннотаций.

3) На третьем уровне кодирования риторические и стилистические коды разных модусов согласуются между собой, задавая нарративные и эмоциональные фреймы для восприятия последующего текста.

Рассматривая функции мультимодального сообщения, можно выявить некоторые закономерности, например, вербальный письменный текст реализует в первую очередь референтивную функцию, но также берет на себя метаязыковую функцию по отношению ко всему сообщению (выставке) целиком, и конативную функцию, активизируя внимание зрителя с помощью риторических приемов. В вербальном аудиотексте на первый план выходят эмотивная и метаязыковая функции, так как он стремится передать эмоции художника, его представления о мире (другими словами, этот модус – метатекст, интерпретирующий другие модусы выставки). Невербальный модус, представленный видеорядом, несет в себе референтивную, поэтическую (эстетическую), эмотивную функции. И наконец, невербальный модус в форме музыки выполняет эмотивную и поэтическую функции. Как отмечает Г. Кресс, каждый модус парциален и реализует специфические значимые характеристики своих аффордансов, но в совокупности все модусы составляют интегрированный ресурс [7, с. 84]. В рассмотренном нами мультимодальном объекте смысловое единство формируется благодаря ритмической организации взаимодействия модусов.

Разнообразие современных подходов к анализу мультимодальных объектов ставит перед исследователями проблему выбора оптимальных инструментов для решения как теоретических, так и практических задач. Предложенная методика дает возможность детально исследовать смысловые уровни и коммуникативные функции модусов, выявить точки взаимного усиления или противоречия между ними и может быть полезна акторам в сфере культуры – музеям, галереям, кураторам, авторам культурных объектов. С. Н. Зенкин подчеркивает, что современные семиотические исследования «включают ценностный аспект — то есть не просто описывают знаки, но и критически оценивают истинность, добросовестность и художественную содержательность осуществляемой с их помощью коммуникации» [9, с. 15]. Анализ уровней кодирования модусов может стать первым этапом в исследовании культурного и социального контекста, в котором функционирует мультимодальное сообщение, включая социальные, технологические и культурные аспекты его производства, передачи и интерпретации аудиторией.

Рисунок 1. Фотография выставки «Письма к Тео»

Таблица 1. Анализ фрагмента выставки «Письма к Тео»

1. Белоедова А. В., Кожемякин Е. А. Мультимодальная коммуникация в фокусе исследовательской рефлексии: проблемно-ориентированный подход // Критика и семиотика. –2022. –№ 2. – С. 54–70.
2. Гвишиани Н. Б. Мультимодальная репрезентация в составе коммуникативного события (когнитивно-дискурсивный аспект) // Вестник РГГУ. Серия «Литературоведение. Языкознание. Культурология». – 2022. – № 4, часть 3. – С. 425–435.
3. Загидуллина М. В. Современное состояние мультимодального анализа: к вопросу о перспективах метода // Научный результат. Социальные и гуманитарные исследования. – 2023. – Т. 9. № 1. – С. 84–99.
4. Дегтева И. С. Дж. Бейтман, Дж. Уилдфер, Т. Хиппала. Мультимодальность. Базовые принципы, способы исследования и методы анализа. Проблемно-ориентированное введение. (Реферат). Режим доступа: https://cyberleninka.ru/article/n/dzh-beytman-dzh-uildfer-t-hippala-multimodalnost-bazovye-printsipy-sposoby-issledovaniya-i-metody-analiza-problemno-orientirovannoe (Дата обращения: 26.06.2025)
5. Эко У. Отсутствующая структура. Введение в семиологию. – СПб: Петрополис, 1998. — 432 с.
6. Якобсон Р. Лингвистика и поэтика // Структурализм: за и против. – М.: Прогресс, 1975. – С. 193–230.
7. Кресс Г. Социальная семиотика и вызовы мультимодальности // Политическая наука. – Москва : ИНИОН РАН, 2016. – № 3. – С. 77–100.

Список источников
8. Штомпка П. Визуальная социология. Фотография как метод исследования: учебник / Пер. с польск. Н.В. Морозовой, авт. вступ. ст. Н.Е. Покровский. — М.: Логос, 2007. – 168 с.
9. Зенкин С. Н. Семиотика культуры: учеб. пособие. – М.: Изд. дом Высшей школы экономики, 2023. – 176 c.