Теория и методика профессионального образования | Мир педагогики и психологии №07 (108) Июль 2025

Социально-семиотический подход в практике обучения мультиграмотности

Дутова Наталья Валерьевна
канд. филол. наук, доцент, доцент кафедры романо-германских языков, Новосибирский государственный педагогический университет, РФ, г. Новосибирск, dutova_natalya@mail.ru

Аннотация: В данной статье рассматривается социально-семиотический подход к развитию мультиграмотности. Особое внимание уделено практическому применению мультимодального анализа на занятиях по межкультурной коммуникации. Автор раскрывает понятие грамотности в эпоху цифровых технологий, как способность к критическому анализу, интерпретации, рефлексии и эффективному взаимодействию в цифровом пространстве, описывает концепцию педагогики мультиграмотности. Во второй части статьи исследует социально-семиотический подход к развитию критического мышления на основе мультимодального анализа и метода визуальной транскрипции. Автор приходит к выводу, что социально-семиотический подход обеспечивает мощную теоретическую базу для развития мультиграмотности. Апробация мультимодального анализа с помощью метода визуальной транскрипции показала возможность перехода от интуитивных суждений о выборе семиотических ресурсов для достижения определенной коммуникативной цели к эмпирически обоснованным выводам. Автор заключает, что социально-семиотический подход открывает новые перспективы для образовательного процесса на фоне развития цифровых технологий.
Ключевые слова: мультиграмотность, критическое мышление, социально-семиотический подход, мультимодальный анализ, визуальная транскрипция.

Dutova Natalya Valerievna
Cand. Sci. (Philology), docent, assistant professor of Romano-Germanic languages department, Novosibirsk State Pedagogical University, Russia, Novosibirsk

Abstract: This article discusses a socio-semiotic approach to the development of multi-literacy. Special attention is paid to the practical application of multimodal analysis in classes on cross-cultural communication. The author reveals the concept of literacy in the digital age, as the ability to critically analyze, interpret, reflect and interact effectively in the digital space, describes the concept of the pedagogy of multi-literacy. The second part of the article explores a socio-semiotic approach to the development of critical thinking based on multimodal analysis and the method of visual transcription. The author comes to the conclusion that the socio-semiotic approach provides a powerful theoretical basis for the development of multi-literacy. The testing of multimodal analysis using the visual transcription method has shown the possibility of moving from intuitive judgments about the choice of semiotic resources to achieve a specific communicative goal to empirically based conclusions. The author concludes that the socio-semiotic approach opens up new perspectives for the educational process in the digital age.
Keywords: multiliteracy, critical thinking, socio-semiotic approach, multimodal analysis, visual transcription.

Введение

В XXI веке интерактивные цифровые медиа-технологии оказывают все большее влияние на все сферы жизни, формируя основу для того, чтобы способность критически анализировать и интерпретировать онлайн-новости, веб-сайты, видеоролики, публикации в социальных сетях стала важнейшим навыком настоящего столетия.

В ответ на вызов эпохи цифровизации, породившей новые медиа, где язык сложным и изменяющимся образом сочетается с изображениями и звуковыми ресурсами, отечественные и зарубежные исследователи в области педагогики и лингвистики (Т.Г. Галактионова, О.А. Казакова, C. Jewitt, G. Kress, Bourne J., Franks A., Hardcastle J., Jones K., and Euan R.L. Unsworth L. и др) разрабатывают теоретическую и практическую основу для внедрения мультиграмотности в учебный процесс [1; 2, с. 31 – 43; 3; 4, с. 1 – 18].

В статье представлен социально-семиотический подход к обучению мультиграмотности. Цель данной работы заключается в теоретическом обосновании и описании практического применения социально-семиотического подхода в развитии мультиграмотности посредством мультимодального анализа и метода визуальной транскрипции для формирования критического мышления в условиях цифровой образовательной среды. Теоретическим обоснованием мультимодального анализа послужила социально-семиотическая теория к анализу мультимодальных текстов с акцентом на преподавание и изучение метаязыка для декодирования мультимодальных смыслов. Описываемый подход способствует развитию навыков аналитического и критического мышления, что позволяет студентам быть ответственными и активными участниками процесса усвоения и распространения знаний и информации в современном обществе.

Понятие грамотности в эпоху цифровых технологий

Меняющиеся условия использования цифровых технологий XXI века стали причиной возникновения проблемы развития новых навыков грамотности в различных областях научного исследования. По словам Г. Кресс в новом тысячелетии «уже невозможно думать о грамотности в отрыве от широкого спектра социальных, технологических и экономических факторов» [5, с. 3].

Традиционное понимание термина «грамотность» ограничено лингвистическим значением и рассматривается как владение языком в сугубо лингвистическом смысле. Однако в настоящее время невозможно рассматривать грамотность только как языковое явление в связи с повсеместной цифровизацией. Разнообразие знаковых систем, широкие возможности разнородных семиотических ресурсов передавать и принимать учебную информацию привели к тому, что содержание понятия «грамотность» стало расширяться, уточняться и обретать новые смыслы.

В 1996 году группа исследователей в области образования New London Group разработала концепцию педагогики мультиграмотности, выходящую за рамки традиционного понимания грамотности и включающую в себя множественность дискурсов [6, с. 60-93]. Исследователи (М. Энсти, Г. Булл, Г. Кресс, Л. Ансворт) преследовали цель обеспечить интеграцию семиотически разнородных вариантов создания смысла, когда текст связан с визуальным, звуковым, поведенческим способами подачи информации [7; 5; 8]. Согласно концепции мультиграмотности, педагогический процесс обучения состоит из четырех взаимосвязанных компонентов: моделирование ситуации на основе реального жизненного опыта, направленного на развитие навыков осмысления и анализа различных социокультурных контекстов; обучение метаязыку, необходимому для понимания процесса продуцирования смыслов; проведение критического анализа, предназначенного для развития навыков интерпретации социальных контекстов, а также определения цели создания смыслов; применение полученных навыков на практике в процессе создания мультимодальных текстов [6, c. 60 – 93].

В 2001 году педагогика мультиграмотности получила новый виток своего развития в связи включением понятия критической грамотности, которая впоследствии стала центральным принципом данного направления. Появление данного понятия связано с именем Л. Ансворта. Ученый расширил понятие мультиграмотности идеями о таких ключевых способностях, как декодирование смысла текстов, участие в понимании и составлении текстов, функциональное их использование и, в конечном счете, критическом анализе текстов. При этом ведущую роль играет текстовый аналитик, выступающий в роли наблюдателя, способный анализировать визуальную и вербальную информацию и определять, как выбор языковых средств и изображений влияет на выражение того или иного мнения, а также как другие варианты вербальных и визуальных ресурсов создают альтернативные точки зрения [9].

Дж. Булл и М. Энсти дополнили теоретические положения Л. Ансворта и представили практику декодирования как отслеживание процесса функционирования однородных и разнородных семиотических систем в тексте. Другой важной идеей исследователей является мысль о том, что умение пользоваться текстом подразумевает способность понимать, что структура текста может различаться в разных контекстах, на разных платформах, несмотря на наличие одной и той же коммуникативной цели [7].

Целью педагогики мультиграмотности ученые определяют получение обучающимися опыта познавательной деятельности и развитие ряда навыков и умений. В частности, речь идет о навыках критического мышления, рефлексии, участия в дискуссии, оценивания достоверности информации, понимания замысла автора, определения коммуникативных стратегий, а также об умении эффективно вести коммуникацию с помощью различных цифровых инструментов [7, с.60 – 68].

Продолжая изыскания в области педагогики мультиграмотности, американская философская ассоциация Delphi Committee дополнила список навыков и умений, необходимых для развития критического мышления навыками логических выводов, оценки, объяснения и саморегуляции [10].

Принимая во внимание вышесказанное можно согласиться с Д. Келлнером, что грамотность в эпоху цифровых технологий требует не столько технических знаний и навыков, сколько автоматизированных навыков чтения, письма, общения и способности к критическому анализу, интерпретации и создания печатных, графических, звуковых и мультимедийных материалов [11, с. 257 – 287].

Таким образом, в условиях цифровизации общества традиционное понимание грамотности как умения читать и писать не соответствует современным реалиям. Значение понятия меняется, расширяя свои границы и включая новые идеи. Так, сегодня грамотность включает в себя умение интерпретировать и создавать смыслы с помощью совокупности разнообразных семиотических способов подачи информации – вербального, звукового, визуального, графического, цифрового. Развитие педагогики мультиграмотности открывает новую перспективу для формирования новой грамотности, где важнейшую роль играет критическое мышление, рефлексия, умение анализировать мультимодальные тексты, оценивать достоверность информации и эффективно взаимодействовать в цифровом пространстве.  Все это требует от образовательной системы внедрения новых подходов, ориентированных на развитие совокупности мультимодальных и критических компетенций. Одним из таких инструментов выступает социально-семиотический подход.

Мультимодальный анализ как инструмент развития мультиграмотности в аспекте социально-семиотического подхода

Социально-семиотический подход носит междисциплинарный характер и охватывает антропологию, социологию, теорию критического и прагматического дискурса, концепцию визуального дизайна (М. Хэллидей, Г.Кресс и Т. ван Левен, М. О’Тул) и другие направления [12; 13; 14]. Становление социально-семиотического подхода описано в статье Н.В. Дутовой [15, с. 64 – 74]. Рассмотрим перспективы использования социально-семиотического подхода к развитию мультиграмотности и опыт его применения в образовательном процессе.

В рамках рассматриваемого подхода дискурс представляет собой взаимодействие множества семиотических ресурсов (язык, изображения, музыка и др.), используемых для создания смыслов и интерпретации социальных практик. Важным аспектом создания смысла выступает процесс комбинирования взаимосвязанных семиотических ресурсов. При этом выбор семиотических ресурсов не является результатом сознательных решений, а выступает набором возможных альтернатив [12]. В основе предложенного подхода лежит принцип метафункциональности, реализация которого возможна благодаря совместному функционированию семиотических ресурсов, выполняющих три «метафункции»: эмпирическую – для интерпретации восприятия мира; межличностную – для установления социальных отношений и выражения установок; и композиционную – для оформления смыслов в связные сообщения согласно определенному контексту [там же].

Как нам представляется, наиболее приемлемым и доступным инструментом для изучения мультимодальных отношений в прагматике социального взаимодействия в образовательных целях выступает мультимодальный анализ, разработанный Г. Крессом и Т. ван Левеном, К.Л. О'Хэллоран, С. Норрис, Р. Сколлон, С. Сколлон и др. [16, с. 139 – 155; 17; 18; 19]. По мнению Р. Хоббс, условия цифровой эпохи требуют от педагогов применения технологии в качестве инструмента анализа и развития критического мышления обучающихся. Исследователь утверждает, что использование мультимодального анализа для развития критического мышления предполагает ознакомление студентов с различными семиотическими вариантами, которые доступны авторам при создании мультимодальных текстов [20, с. 44]. Цель обучения состоит в том, чтобы предоставить преподавателям и студентам инструменты для системного изучения новых медиатекстов с целью развития способности не только эффективно работать с мультимедийными текстами, но и критически анализировать различные информационные и функциональные типы текстов и жанры из печатных и цифровых источников. Кроме того, мультимодальный анализ способствует формированию и развитию компетенции видеть, как тот или иной выбор семиотических ресурсов позволяет достигать определенные коммуникативные цели, например, привлекать и ориентировать аудиторию придерживаться определённых взглядов на мир, вызывать те или иные эмоции.

Использование мультимодального анализа для развития критического мышления и чувствительности межкультурных различий было апробировано на занятиях по дисциплине межкультурная коммуникация. В рамках учебной темы «Национально-культурные особенности организации дискурса» первый этап цикла занятий был посвящен обучению метаязыку для дальнейшего применения при осуществлении анализа. В частности, студентам были предложены лекционные и семинарские занятия, тренировочные упражнения, охватывающие следующую тематику: лингвопрагматическая специфика дискурса в межкультурной коммуникации; понятие коммуникативных стратегий и тактик речевого воздействия в межкультурном дискурсе; национально-культурные особенности коммуникативных стратегий и тактик в русской и англо-американской традициях. На втором этапе была определена коммуникативная ситуация, описан контекст и ожидаемое поведение представителей русской и английской культур в данной ситуации в зависимости от типа культур.

Далее студентам предлагались два фрагмента из художественных фильмов для просмотра и анализа поведения представителей русской и английской культур в ситуации коммуникации руководителя и подчиненного, затрагивающую культурный параметр «дистанция власти». За основу анализа был взят метод визуальной транскрипции, разработанный С. Норрис [18]. Согласно определению автора, визуальная транскрипция представляет собой метод последовательного исследования функционирования однородных семиотических ресурсов в отдельности, сопровождающийся последующим изучением разнородных семиотических ресурсов в совокупности. Фиксирование данных осуществлялось с помощью протоколов визуальной транскрипции, которые состоят из скриншотов видеокадров с отметками о времени и условными обозначениями для записи невербальных и вербальных действий и просодических характеристик. Протоколирование работы каждого задействованного семиотического ресурса объединяются в общий протокол. Такой анализ позволяет не только отследить функционирование семиотических ресурсов, но и дает обоснованные аргументы для того, чтобы критически оценить и сделать выводы о том, как выбор семиотических ресурсов помогает в достижении коммуникативной цели. Студентам было предложено составить протоколы невербального поведения (проксемного, кинесического, тактильного, глазного) и вербального поведения (коммуникативные стратегии и тактики и языковые средства их реализации). После выполнения задания студенты делали выводы, сравнивая поведение представителей культур, объясняя мотивы поведения, обнаруживая культурные ценности.

Данная практика дает возможность студентам развивать понимание культурных различий, а также способности критически интерпретировать лингвистические, визуальные и аудиоресурсы, иными словами, обучаться мультиграмотности и, что более важно опираться на эмпирические данные, а не на интуитивные предположения о том, как достигается коммуникативная цель. Студенты имеют возможность наблюдать, как различные варианты выбора семиотических ресурсов сочетаются в разных культурах в режиме реального времени.

Использование мультимодального анализа позволяет студентам эмпирически прийти к выводам, что вербальные ресурсы не всегда играют ведущую коммуникативную роль, а наведение камеры может выступать сильным интерактивным ресурсом для управления вниманием аудитории. Особая ценность данного подхода к развитию мультиграмотности видится в возможности эмпирически доказывать, что невербальные ресурсы (ракурсы камеры, жесты, дистанция, зрительный контакт) часто более значимы в управлении вниманием аудитории, чем вербальные. Развитие критического мышления посредством мультимодального анализа дает возможность студентам раскрыть смыслы визуальных демонстраций опыта представителей разных культур, развить способность видеть скрытые идеологические и культурные коды в визуальных и аудиовизуальных сообщениях.

Таким образом, мультимодальный анализ в рамках социально-семиотического подхода обеспечивает мощную теоретическую базу для изучения процессов создания смысла в условиях цифровой образовательной среды, тем самым способствуя развитию мультиграмотности.

Заключение

Подводя итог вышесказанному, можно заключить, что социально-семиотический подход, базирующийся на теории метафункциональности М. Хэллидея и концепции мультимодального дизайна Г. Кресса и Т. ван Левена, выступает хорошим теоретическим фундаментом для развития критического мышления в образовательном процессе. Апробация указанного подхода посредством мультимодального анализа и метода визуальной транскрипции С. Норрис позволила осуществить переход от интуитивных идей о том, как создается смысл к эмпирической практике с помощью конкретных аналитических инструментов.

Применение подхода на занятиях по межкультурной коммуникации продемонстрировало, что обучение метаязыку и системное протоколирование вербальных и невербальных семиотических ресурсов помогает студентам критически оценивать, как выбор семиотических ресурсов влияет на достижение коммуникативной цели. Наиболее значимым является вывод о том, что невербальные ресурсы часто играют доминирующую роль, что невозможно определить без мультимодального анализа. Таким образом, мультимодальный анализ в рамках социально-семиотического подхода способствует формированию аналитической компетенции, которая позволяет выявлять скрытые идеологические и культурные смыслы в медиапространстве, что выступает основой критического мышления, которое является главным принципом педагогики мультиграмотности.  

В эпоху цифровых технологий мультиграмотность становится не столько педагогической инновацией, сколько неотъемлемым условием успешного функционирования в информационном обществе. Концепция мультиграмотности требует от образовательной системы перехода от теоретического обучения к практикам, которые развивают рефлексию, понимание авторских стратегий, оценку достоверности, а также способность создавать мультимодальные сообщения.

Описанный опыт использования социально-семиотического подхода создает благоприятные условия для дальнейшего развития данной области. Прежде всего, представляется актуальным расширить применение мультимодального анализа на другие гуманитарные дисциплины с целью развития критического мышления. Другим перспективным направлением является разработка цифровых инструментов, например интерактивных шаблонов для визуальной транскрипции, адаптированных для использования в образовательном процессе. Это позволит унифицировать процесс обучения и сделать мультимодальный анализ доступнее. Кроме того, перспективным выступает межкультурное сопоставление мультимодальных практик. Данное направление поможет углубить знания о том, как культурные смыслы создаются посредством сочетания семиотических ресурсов, а также как формировать межкультурную мультиграмотность.

Таким образом, социально-семиотический подход открывает новые возможности адаптации образовательного процесса к условиям цифровой эпохи. Кроме того, данный подход способствует повышению качества образовательного процесса, а также сохранению осмысленности, активности и оригинальности деятельности обучающихся. В условиях информационного бума он позволяет осваивать научное знание максимально эффективно, экологично и в предельно сжатые сроки.

1. Казакова О.А. Проектирование образовательного опыта мультиграмотности: дис. кандидат пед. наук: 5.8.1. ФГБОУ ВО «Санкт-Петербургский государственный университет». 2024. 189 с.
2. Jewitt C. Different approaches to multimodality. In C. Jewitt (Ed.). / The Routledge Handbook of Multimodal Analysis, 2nd ed, 2017. P. 31–43.
3. Kress G., Jewitt C., Bourne J., Franks A., Hardcastle J., Jones K., and Euan R. English in Urban Classrooms: A Multimodal Perspective on Teaching and Learning. London, UK: Routledge Falmer. 2005.
4. Unsworth L. High school science infographics: Multimodal meaning complexes in composite image-language ensembles // Pensamiento Educativo, Revista de Investigacion Educacional Latinoamericana. Pontificia Universidad Catolica de Chile. 2021. Vol. 58, Issue 2. P. 1–18.
5. Kress G. Literacy in The New Media Age. London & New York: Routledge. 2003.
6. The New London Group. A Pedagogy of Multiliteracies: Designing Social Futures // Harvard Educational Review. 1996. Vol. 1. № 66. P. 60–93.
7. Anstey M., Bull G. Foundations of Multiliteracies Reading, Writing and Talking in the 21st Century. London Routledge, 2005. 258 p.
8. Unsworth L., Mills K.A. English language teaching of attitude and emotion in digital multimodal composition // Journal of Second Language Writing Vol. 47, 2020. URL: https://www.sciencedirect.com/special-issue/10LLQCLH60F (дата обращения: 24.07.2025)
9. Unsworth L. Teaching Multiliteracies Across the Curriculum: Changing Contexts of Text and Image in Classroom Practice. Buckingham, UK: Open University Press, 2001. 300 р.
10. The Delphi Report Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction URL: https://insightassessment.com/iaresource/the-delphi-report-a-statement-of-expert-consensus-on-the-definition-of-critical-thinking/ (дата обращения: 10.07.2025)
11. Kellner D. Digital Technologies, Multi-Literacies, and Democracy: Toward a Reconstruction of Education // Technology and Democracy: Toward A Critical Theory of Digital Technologies, Technopolitics, and Technocapitalism. Wiesbaden : Springer VS, 2021. P. 257 – 287.
12. Halliday M.A.K. Language as social semiotic: The social interpretation of language and meaning. London: Edward Arnold, 1978. 256 p.
13. Kress G. & van Leeuwen T. Reading Images. The Grammar of Visual Design. 3rd ed. Routledge, 2021. 288 р.
14. O’Tool M. The Language of Displayed Art. Rutherford, Madison, Teaneck: Fairleigh Dickinson Univ Press, 1994. 295 p.
15. Дутова Н.В. Становление социально-семиотического подхода к анализу мультимодального дискурса: обзор зарубежного опыта // Вестник Северного (Арктического) федерального университета. Серия: Гуманитарные и социальные науки. САФУ им. Ломоносова, 2024. С. 64 – 74.
16. Kress G., Bezemer J. Multimodal discourse analysis // The Routledge Handbook of Discourse Analysis. 2023. P.139-155.
17. O’Halloran K.L. Multimodal Discourse Analysis / The Bloomsbury Handbook of Discourse Analysis. Edited by Hyland K., Paltridge B. & Wong L. UK. London: Bloomsbury Publishing Plc, 2021. Р. 249-267.
18. Norris S. Multimodal Theory and Methodology: For the Analysis of (Inter)action and Identity. UK: Routledge, 2020. 120 p.
19. Scollon R., & Wong Scollon S. Discourses in Place: Language in the Material World. London: Routledge, 2003. 258 p.
20. Hobbs R. A Review of School-Based Initiatives in Media Literacy Education // American Behavioral Scientist.Vol. 48 (1), 2004. Р. 42-59.