Прикладная и математическая лингвистика | Филологический аспект №05 (109) Май 2024

УДК 81'33

Дата публикации 20.05.2024

Специфика лингвистического исследования функционирования больших языковых моделей

Рашевский Василий Евгеньевич
магистрант кафедры английской филологии и межкультурной коммуникации, Белгородский государственный национальный исследовательский университет, РФ, г. Белгород, vasyarasha2014@yandex.ru

Аннотация: Статья посвящена основным направлениям лингвистических исследований, связанных с большими языковыми моделями. Генеративные модели в контексте исследования представлены как искусственные языковые личности, которые занимают центральное место на пути изучения всех особенностей кода коммуникации с искусственным интеллектом. Автором предложены основные направления таких исследований и приводятся области изучения: теоретические (области применения, потенциальные возможности, опасность и риски, пути развития), фундаментальные (инжиниринг контекста, анализ предвзятости, оценка способностей) и прикладные (генерация контента, решение проблем).
Ключевые слова: тип исследования, область исследования, большая языковая модель, теоретический аспект, прикладной аспект

Main types of research related to large language models

Rashevsky Vasily Yevgenevich
master's student of English Philology and Cross-cultural Communication department, Belgorod State National Research University, Russia, Belgorod

Abstract: The article is devoted to the main types of linguistic research related to large language models. In the context of the study, generative models are conceived as artificial linguistic personalities that play a central role in studying all the features of the code in communication with artificial intelligence. The author proposed the main types of such research and provided areas of study: theoretical (areas of application, application opportunities, dangers and risks, future prospects in development), fundamental (prompt engineering, bias analysis, personality analysis) and applied (content generation, problem solving).
Keywords: type of research, area of research, large language model, theoretical aspect, applied aspect

Правильная ссылка на статью
Рашевский В.Е. Специфика лингвистического исследования функционирования больших языковых моделей // Филологический аспект: международный научно-практический журнал. 2024. № 05 (109). Режим доступа: https://scipress.ru/philology/articles/spetsifika-lingvisticheskogo-issledovaniya-funktsionirovaniya-bolshikh-yazykovykh-modelej.html (Дата обращения: 20.05.2024)

Генеративные модели на основе искусственного интеллекта – результат многолетнего развития компьютерных программ, когда в середине 2010-ых на замену алгоритмическому неинтеллектуальному программному обеспечению пришла наиболее гибкая и умная технология нейросетевого искусственного интеллекта. Широкое распространение генеративные модели текстовой и визуальной генерации получили в 2022 году и существенно улучшаются и поныне. Самой нашумевшей такой программой стал чат-бот ChatGPT – большая языковая модель на архитектуретрансформер, призванная решать обширный ряд задач обработки естественного языка.

Целью нашего исследования является выделение основных направлений и областей исследования в контексте функционированиябольших языковых моделей. Актуальность исследования обусловлена важностью и глобальной ролью мультимодульных и специализированных приложений больших языковых моделей в бурно развивающимся мире. Так, по результатам недавнего исследования В.А. Грудининой и И.В. Меркуловой был сделан вывод о том, что большие языковые модели “способны стать мощным драйвером развития цифровой экономики” [1]. Такое влияние невозможно переоценить, учитывая реалии гонки вооружений в вычислительной мощности [2]. С точки зрения науки, разностороннее изучение больших языковых моделей считается необходимым в целях последующего улучшения данных технологий.

Для того, чтобы определить базовые направления исследований, связанных с большими языковыми моделями, для начала мы обратились к общенаучным источникам. Так, В.П. Котенко предлагает рассматривать научные исследования в позиции трёх глобальных и тесно переплетённых аспектов: теоретический, фундаментальный и прикладной [3]. Если теоретическая сущность исследования направлена сугубо на создание идей в отрыве от практической деятельности, то фундаментальный аспект выражается в выработке теории и получении новых знаний: “Некоторые виды фундаментального знания встречаются на уровне эмпирического знания – фактов или явлений” [3, с. 17]. Так, учёный разграничивает теоретическое и фундаментальное знание: “Одновременно следует подчеркнуть, что известные основания для отождествления фундаментального знания с теоретическим есть: ведь именно теория является основой практических приложений знания” [Там же].

Рассматривая прикладные исследования, В.Г. Горохов также четко подмечает отличие их направленности от фундаментальных: “Прикладное исследование – это такое исследование, результаты которого адресованы производителям и заказчикам и которое направляется нуждами или желаниями этих клиентов, а фундаментальное исследование адресовано другим ученым” [4, с. 20]. В контексте больших языковых моделей это можно рассматривать с одной стороны как изучение моделей и передача научному сообществу результата исследования, а с другой как их непосредственное применение.

К рассмотрению ниже предлагается основа иерархической структуры лингвистических исследований, связанных с большими языковыми моделями, где главное место занимают основные направления исследований (теоретическое, фундаментальное и прикладное), которые в свою очередь подразделяются на базовые области. Стоит отметить, что такие области также могут подразделяться на более конкретные, однако в рамках исследования будут приведены лишь базовые.

Теоретические исследования (теоретический аспект) – изучение места технологий больших языковых моделей в современном мире, анализ и построение картины будущего в реальности широкого распространения искусственного интеллекта. Базовые области теоретического изучения:

  1. Области применения. На первый план выходят предположения и идеи, очерчивающие размах возможных сфер применения больших языковых моделей в прикладном направлении. Например, одной из таких областей исследования является использование искусственного интеллекта в качестве цифрового инструмента в преподавании иностранного языка, когда происходит первоначальное видение и разработка образовательного процесса в соответствии с накопленным опытом как методики преподавания, так и с имеющимися знаниями непосредственно о возможностях каждой данной генеративной модели. Проведённое И.А. Колеговой и И.А. Левиной исследование показало, что современные искусственные интеллекты способны генерировать специализированные задания для репетиторства английского языка, а сама коммуникация представляется эффективной и удобной для учеников [5].
  2. Потенциальные возможности. Если области применения затрагивали функциональность лишь частично, то область потенциальных возможностей представляет собой обработку существующих эмпирических знаний в целях теоретизации о конкретных прикладных задачах и возможности их выполнения. Так, текст исследования будет содержать множество утверждений, сопровождающихся ссылками на источники. Например, в контексте преподавания чат-ботом иностранного языка, в тексте можно найти такие подзаголовки, как “достоинства и потенциал”, “оригинальное использование языка”, “чат-бот как репетитор” и т.п. [6].
  3. Опасность и риски. Исследование угроз, представленных с появлением высокоинтеллектуальных больших языковых моделей, и уязвимостей для человечества как общества, представляет повышенный научный и гуманитарный интерес, так как в подобных исследованиях проводится обзор неблагоприятных гипотетических последствий для человечества, которые можно избежать или смягчить. Например, в недавнем исследовании о способностях ChatGPT, был поднят вопрос о спроектировано излишней безропотности модели в генерации ложного и опасного контента, что по мнению авторов можно назвать “инфодемией, движимой ИИ” [7].
  4. Пути развития искусственного интеллекта. Новизна теоретического материала заключается в обращении внимания на проблемы и слабые стороны как отдельной генеративной модели, так и всех в целом, а также рассмотрение перспектив улучшения и доработок предвзятости алгоритма. Результаты исследований могут побудить разработчиков к созданию новых архитектур, повышающих эффективность коммуникации с большой языковой моделью.

Важное замечание, что сложно представить теорию полностью обособленной, ведь сама по себе она не несёт в себе никакого смысла, так как представляет собой информацию, наделённую гипотетичностью и долей субъективности. Тогда, теория в последующем должна быть использована на практике в фундаментальном исследовании (извлечение эмпирического знания) или в прикладном ключе.

Фундаментальные исследования (теоретико-практический аспект) – наиболее распространенный тип исследований в контексте изучения больших языковых моделей, нацеленный на анализ их возможностей, в целом изучение искусственной языковой личности посредством применения теоретического материала в практической исследовательской деятельности для достижения эмпирического знания. Базовые области теоретико-практического изучения:

  1. Инжиниринг контекста (prompt engineering). В коммуникации с диалоговыми чат-ботами пользователь задаёт входные языковые данные, в результате отправки которых происходит вычисление и генерация ответа, соответствующего данному контексту. Исследования в этой области направлены как на составление особого контекста, так и на изучение его влияния. В первом случае производятся эксперименты, нацеленные, как правило, на поиск наиболее эффективных методов составления контекста, а во втором рассматриваются общие закономерности поведения и коммуникации модели во время применения таких методов. Исследователи продемонстрировали целесообразность изучения кода коммуникации с большими языковыми моделями, на котором ведется диалог [8].
  2. Анализ и настройка предвзятостей. Основная проблема любой нейросетевой архитектуры заключается в отсутствии рассудительных решений, так как они скрыты за стеной математических вычислений вероятностей. Так, в контексте больших языковых моделей научное сообщество объединяется в проведении разносторонних исследований естественной и заложенной разработчиками предвзятости языковых выборов формы выражения и особенностей форм содержания ответов искусственной языковой личности. Результаты исследований могут вызвать интерес у разработчиков искусственного интеллекта, так как экспериментальные данные являются контрольными показателями преуспевания или неудач в выполнении коммуникативных задач.
  3. Определение уровня знаний, выявление способностей и их оценка. Предвзятости алгоритма влияют на изобретательность функционирования генеративной модели, однако отличается данная область от предыдущей прямой направленностью на исследование различных уловных когнитивных процессов и отдельных навыков. Например, изучение навыков рассуждения и аргументации, является важной областью изучения, ведь результат представляется ценным для будущих исследований как моделей следующих версий, так и для альтернативных посредством применения теоретической части. Также такой навык с теоретической точки зрения можно считать одним из важнейших на пути создания свободно коммуницирующих агентных моделей.

Прикладные исследования (практическое) – использование больших языковых моделей в непосредственном решении проблем с последующим извлечением пользы из сгенерированных ответов. Базовые области практического изучения:

  1. Генерация контента (общее применение). Наиболее распространенный и ожидаемый от таких генеративных моделей контент имеет текстовый формат, но наблюдается тренд на внедрение инструментов “компьютерного зрения” и генерации изображений, что в будущем будет предшествовать опции генерации видео по текстовому запросу пользователя. Суть такой практической деятельности заключается в использовании такого контекстного сообщения, которое вызывает не однозначный, а творческий и целостный ответ.
  2. Получение ответа на заданные проблемы (специальное применение). Сравнивая с предыдущей областью исследования, эта отличается тем, что контекстное сообщение наиболее требовательное и сводит генеративную модель к поиску решений изложенных пользователем проблем. Решение проблем предполагает ограничение рамок допустимого воображения алгоритма, а многократно сгенерированный текст разнообразен и выражает речевой ответ на вопросы пользователя.

Таким образом, основные направления и области исследований изложены в аспекте преломления функционирования больших языковых моделей. С точки зрения теоретического аспекта, изучение больших языковых моделей – определение их путей развития и места в обществе. На практике изучаются непосредственно характеристики искусственной языковой личности таких чат-ботов, а в практическом ключе текстовые генеративные модели используются для решения конкретных прикладных задач.

Развитие изложенных в статье идей важно по причине глобальности таких технологий. Перспектива темы заключается в разработке содержательной классификации таких исследований, которые бы не ограничивались лингвистическими, но включали бы в себя, например, юридическую область “Регуляция технологии больших языковых моделей”.

 

 


Список литературы

1. Грудинина В.А. Влияние технологии ChatGPT на развитие экономики / В.А. Грудинина, И.В. Меркулова // Вестник Северо-Кавказского федерального университета. – 2023. – №5. – с. 23–30
2. Time: официальный сайт. – New York – URL: https://time.com/6255952/ai-impact-chatgpt-microsoft-google/ (дата обращения 09.05.2024)
3. Котенко В.П. Наука XXI века: фундаментальная или прикладная (или технонаука)?/ В.П. Котенко // Дискурс. – 2016. –№1.– с. 14-23
4. Горохов В.Г. Фундаментальные и прикладные исследования, а не фундаментальные и прикладные науки / В.Г. Горохов // Эпистемология & философия науки. – 2014. – №2. – с. 19-28
5. Kolegova I.A. Using artificial intelligence as a digital tool in foreign language teaching / I.A. Kolegova, I.A. Levina // Вестник ЮУрГУ. Серия «Образование. Педагогические науки». – 2024. – Т. 16. – №1. – С. 102-110
6. Hong W.C.H. The impact of ChatGPT on foreign language teaching and learning: Opportunities in education and research / W.C.H. Hong // Journal of Educational Technology and Innovation (JETI). – 2023. – Vol. 5. – No. 1.
7. De Angelis L. ChatGPT and the rise of large language models: the new AI-driven infodemic threat in public health / L. De Angelis, F. Baglivo, G. Arzilli, G.P. Privitera, P. Ferragina, A.E. Tozzi, C. Rizzo // Front. Public Health. – 2023. – 11:1166120. – DOI: 10.3389/fpubh.2023.1166120
8. Denny P. Prompt Problems: A New Programming Exercise for the Generative AI Era / P. Denny, J. Leinonen, J. Prather, A. Luxton-Reilly, T. Amarouche, B.A. Becker, B.N. Reeves; — New York: Association for Computing Machinery, 2024. — p. 296-302. — URL: https://dl.acm.org/doi/10.1145/3626252.3630909 (дата обращения 09.05.2024) – DOI: 10.1145/3626252.3630909.

Расскажите о нас своим друзьям: