Психофизиология | Мир педагогики и психологии №7 (36) Июль 2019

УДК 159.91

Дата публикации 29.07.2019

Гибридный зрительный поиск при семантическом предъявлении цели: пилотное исследование

Сеткин Никита Сергеевич
бакалавр ФГАОУ ВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина», РФ, Екатеринбург, nikitasetkin@gmail.com
Ломтатидзе Ольга Валеревна
к. псих. наук, доцент, ФГАОУ ВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина», РФ, Екатеринбург, olya.l@mail.ru

Аннотация: Гибридный зрительный поиск является разновидностью зрительного поиска, для которого характерно наличие нескольких искомых целей для наблюдателя в условиях различных и уникальных нецелевых объектов. Данная статья посвящена исследованию гибридного зрительного поиска через изменения параметра количества информации, обрабатываемой в активированной долговременной памяти. В данном эксперименте объем задействующей памяти изменяется посредством увеличения размера предъявляемой семантической категории для поиска в каждой пробе. Исследование было произведено с помощью айтрекера в лабораторных условиях. Основным анализируемым психофизиологическим показателем является средняя продолжительность фиксации взгляда на искомых объектах, нецелевых объектах (объектах-дистракторах), а так же общее время анализа изображения, выраженное в мс. Объектами для поиска были фотографии различных реальных объектов (животные, бытовые предметы, одежда и т. д.) на белом фоне с фиксированным количеством объектов в каждой пробе. Согласно полученным результатам, с увеличением информации в активированной долговременной памяти возрастает общее время анализа изображения. Данные результаты наглядно демонстрируют изменение основных показателей времени для гибридного зрительного поиска в этих условиях, при неизменном количестве и характере стимульных признаков. Таким образом, это является наглядной демонстрацией активного вовлечения процессов, происходящих в памяти, в зрительный поиск.
Ключевые слова: айтрекинг, гейзтрекинг, гибридный зрительный поиск, последовательный зрительный поиск, зрительный поиск

Hybrid visual search for semantic target purpose

Setkin N.S.
bachelor Ural Federal University named after the first President of Russia B.N.Yeltsin, Ekaterinburg, Russia
Lomtatidze O.V.
PhD, Associate Professor, Ural Federal University named after the first President of Russia B.N.Yeltsin, Ekaterinburg, Russia

Abstract: Hybrid visual search is a kind of visual search, which is characterized by the presence of several desired targets for the observer in the conditions of various and unique non-target objects. This article is devoted to the study of hybrid visual search through the changes in the parameter of the amount of information processed in activated long-term memory. In this experiment, the amount of active working visual memory is changed by increasing the size of semantic category presented for searching in each sample. The study was performed by eye tracker in the laboratory. The main psychophysiological indicator analyzed is the average dwell time at the target objects, average dwell time at non-target objects (distractors) and total time of image analysis, expressed in ms. The objects for the search are the photos of various real objects (animals, household objects, clothing, etc.) on a white background with a fixed number of objects in each sample. According to the obtained results, increasing information volume in the activated long-term memory affects the increase of dwell time on each object. These results clearly demonstrate the change in the main indicators of time for a hybrid visual search in these conditions, with a constant number and structure of the stimuli. That way, it is a clear demonstration of the active involvement of the processes occurring in memory in a visual search.
Keywords: eye tracking, gaze tracking, hybrid visual search, guided visual search, visual search, memory search

Введение

Зрительный поиск – процесс поиска искомого объекта среди других нецелевых объектов [Wolfe, 2010, 348]. В соответствии с теорией интеграции признаков [Treisman, Gelade, 1980] выделяют параллельный и последовательный поиск. Процесс параллельного поиска происходит с участием предвнимания, таким образом искомый объект «выскакивает» относительно нецелевых объектов за счет наличия какого-то отличительного признака на фоне одинаковых отвлекающих объектов. Для последовательного зрительного поиска характерно наличие различных уникальных нецелевых объектов, за счет которых эффект «выскакивания» не проявляется и происходит зрительная обработка каждого объекта с участием внимания [Eimer, Grubert, 2014, 197].

Гибридный зрительный поиск является частным случаем последовательного зрительного поиска, реализующийся при наличии нескольких целевых объектов для поиска. Именно этот процесс имеет наибольшее распространение в повседневной жизни. В этом случае, данный процесс совмещает в себя не только последовательный поиск объектов, но и удержание информации об искомых объектах в рабочей зрительной памяти для сравнения рассматриваемого объекта с искомыми [Baddeley, 2003]. Однако, в случае, если предъявление объекта для задания на поиск происходит не визуально, а в виде семантической категории, то в данном процессе участвует активированная долговременная память, из которой происходит дальнейшая выгрузка информации в рабочую память, которая является необходимым функциональным звеном в обработке информации в процессе гибридного поиска [Drew, Boettcher, Wolfe, 2016, 202]. В данном исследовании изменение объема выгружаемой информации из активированной долговременной памяти происходит за счет увеличения предъявляемой для поиска семантической категории.

Семантическая категоризация объектов является языковой структурой, в которой какому-то объекту присваивается значение в конкретной языковой категории. Категория представляет собой систему объектов, объединенных на основе общего концепта. Другими словами, это знание, класс объектов, и того общего концепта, выполняющих функцию основания для соединения данных объектов в одну категорию [Болдырев, 2006, 6]. Таким образом, размер категории определяется количеством структурных единиц, входящих в нее. Связь семантической категории с долговременной памятью определяется возможностью неограниченно долго воспроизводить информацию без утраты [Клацки, 1978, 108], таким образом, для человека значение категории является постоянным.

Процесс гибридного зрительного поиска значительно изучен в условиях варьирования количества и характера стимульных признаков [Drew, Boettcher, Wolfe, 2017; Cunningham, Wolfe, 2014], однако, практически не изучен в условиях, где основным исследовательским приемом является варьирование изменения размера категории, задействующие долговременную память для поиска.

Цель исследования

Целью исследования является изучение особенностей выполнения проб на гибридный  поиск при семантическом предъявлении целевых стимулов. Мы предполагаем, что изменение объема вовлеченной активированной долговременной памяти, посредством изменения размера семантической категории, приведет к увеличению скорости поиска объектов на изображении.

Материал и методы исследования

Экспериментальная часть исследования выполнялась на базе Лаборатории Мозга и Нейрокогнитивного Развития, УрФУ. Исследование осуществлялось на выборке из 21 студентов (14 девушек и 7 юношей) УрФУ в возрасте 20-22 лет.

Визуальное восприятие стимулов осуществлялось с использованием стационарной системы удаленного бинокулярного трекинга глаз SMI RED 500 с частотой работы в 500 Гц.  Во время записи взгляда испытуемые находились на расстоянии 65-70 см перед монитором. Для создания схемы предъявления стимулов использовался модуль Experimental Center.

Перед каждым предъявлением стимульного материала происходила процедура калибровки, необходимая для дальнейшего учета погрешностей при обработке данных. После процедуры калибровки испытуемым демонстрировался стимульный материал и проводилась видеорегистрация движений взгляда.

Производились пробы поиска объектов на изображении без предварительного предъявления стимулов. Задание для поиска выводилось на экране в виде семантической категории. Предъявленные категории: «Роза», «Обувь», «Животные», «Неодушевленные предметы». Данные категории с точки зрения языкового значения выделяются по одному признаку и увеличиваются с позиции количества объектов, которые в них входят. Таким образом, сначала испытуемым необходимо было найти объекты, соответствующие цветкам розы. Затем, объекты, относящиеся к обуви в различных вариациях. Аналогично, найти объекты, относящиеся к животным. Последней пробой был поиск всех объектов, которые не являются одушевленными. Испытуемым необходимо было сопровождать анализ изображения словами «да» или «нет» в случае обнаружения или не обнаружения искомого объекта.

Всего было проведено по 10 проб для каждого задания, таким образом, каждым испытуемым было выполнено 40 уникальных попыток поиска объектов. Для каждой пробы были предъявлены уникальные объекты для поиска. На каждом изображении было 8 объектов одинакового размера в 2 ряда по 4 объекта. Максимальное количество возможных искомых целей было не более 4. 50% от общего числа выполненных проб были в условиях отсутствия искомой цели на изображении. Зрительными стимулами являлись фотографии реальных и легко узнаваемых объектов на белом фоне. Исключались фотографии людей с лицами, так как было показано, что при последовательном зрительном поиске человеческое лицо может обладать эффектом «выскакивания» [Hershler, Hochstein, 2005, 1720].

Для дальнейшей обработки результатов происходило выделение зон интереса [Барабанщиков, Жегалло, 2010, 249] для анализа времени фиксации взгляда и саккад на этих областях.

Для статистической обработки данных использовалась программа Statistica, в качестве метода используется дисперсионный анализ с повторными измерениями ANOVA, с использованием коррекции по Greenhouse-Geisser [Howell, 2009]. Значимость эффекта в данном случае выражается в показателе eta squared (η2), где значения <0.10 указывают на слабое влияние, 0,10-0.30 на среднее и >0.50 на сильное влияние фактора на зависимую переменную.

Результаты исследования

Посредством многофакторного дисперсионного анализа были получены данные о влиянии следующих факторов: размер семантической категории и фактор присутствия/отсутствия целевого стимула; зависимыми переменными являются: время фиксации взгляда на искомом объекте, объекте-дистракторе и общее время анализа изображения.

Оценка влияния фактора размера семантической категории дает следующие показатели: время фиксации взгляда на объекте-дистракторе под влиянием этого фактора достоверно увеличивается. Показатели: F = 4,4; p = 0,05; eta squared (η2) = 0,205. Показатели общего времени анализа изображения также зависят от данного фактора: F = 5,97; p < 0,05; eta squared (η2) = 0,249. Для времени фиксации взгляда на искомом объекте были получены следующие значения: F = 7,05; p = 0,001; eta squared (η2) = 0,293. Однако значимость эффекта в данных случаях является средней (η2 < 0,3).

Была произведена оценка влияния фактора наличия или отсутствия искомой цели для проверки достоверности влияния фактора в виде размера категории. Показатели: F = 0,286; p = 0,59; eta squared (η2) = 0,016. Эти показатели подтверждают, что значимость эффекта влияния данного фактора не является достоверной.

Двухфакторный анализ фактора размера семантической категории и фактора наличия или отсутствия искомой цели показывает положительное подтверждение полученных данных: F = 142,28; p < 0,001; eta squared (η2) = 0,888. Выявляется сильное влияние данного эффекта.

Таким образом, можно утверждать, что увеличение размера семантической категории достоверно влияет на основные показатели времени для гибридного зрительного поиска вне зависимости от наличия предъявляемой цели для поиска на изображении.

В таблице 1 приведены средние значения для основных временных показателей. По этим данным можно сделать вывод о незначительном увеличении временных показателей при переходе из самой меньшей категории с объектом «Роза» к категориям «Обувь» и «Животные». Увеличение наблюдается только по одному из показателей – общему времени анализа изображения в условиях присутствия искомой цели. В категориях «Обувь» и «Животные» значимые различия не наблюдаются, как в условиях присутствия, так и в условиях отсутствия искомой цели. В категории «Неодушевленные предметы» все временные показатели значительно выше, относительно других категорий.

Таблица 1. Сравнение основных показателей при семантическом предъявлении цели

 

Цель присутствует

Цель отсутствует

Семантическая категория

Время фиксации взгляда и саккад на искомом объекте, мс

Время фиксации взгляда и саккад на объектах-дистракторах, мс

Общее время анализа изображения, мс

Время фиксации взгляда и саккад на объектах-дистракторах, мс

Общее время анализа изображения, мс

«Роза»

347,8±128,3

158,9±60,1

1955,2±434,8

168,1±61,1

1831±422,8

«Обувь»

374,2±119,7

206,35±65,1

2701,5±429,2

183,9±57,2

1883,2±493,1

«Животные»

476,8±132,2

209,8±69,9

2720,4±488,8

173,36±43,2

1913,7±459,1

«Неодушевленные предметы»

533,6±142,6

 

357,44±71,3

 

4637,5±637,1

290,52±70,3

3008,5±581,6

Визуальное представление показателей среднего времени фиксации взгляда и саккад на объектах-дистракторах, а также общего времени анализа изображения при семантическом предъявлении цели представлено на рисунке 1.

Рисунок 1. График зависимости общего времени анализа от предъявляемой семантической категории

Визуальное представление данных также реализуется в виде тепловых карт (рис. 2, рис. 3), что является сопоставлением цвета с временем фиксации взгляда на зоне интереса. Переход от «холодного» к «теплым» цветам представляет собой увеличение основного временного показателя. Синим оттенкам цвета соответствуют значения в диапазоне от 1 до 10 мс, зеленым – от 10 до 20 мс, желтым – от 20 до 30 мс, красному цвету соответствуют значения от 40 мс. Визуальные показатели на всех тепловых картах являются усредненными для всех участников эксперимента.

В данном случае, искомыми объектами, удовлетворяющие условиям поиска, являются розы, представляющие собой наименьшую семантическую категорию.

Рисунок 2. Пример тепловой карты по одной из проб при предъявлении задачи на поиск объекта в семантической категории «Роза» в условиях присутствия целей

Наибольшая семантическая категория представлена поиском неодушевленных предметов на изображении.

Рисунок 3. Пример тепловой карты по одной из проб при предъявлении задачи на поиск объекта в семантической категории «Неодушевленные предметы» в условиях присутствия целей

Общее обсуждение

Статистический анализ показал достоверность изменения основных показателей для гибридного зрительного поиска от изменения размера семантической категории. В данном случае, изменение размера семантической категорией является показателем увеличения объема активированной долговременной памяти. Однако, в рамках модели гибридного поиска, предложенной авторами [Drew, Boettcher, Wolfe, 2016, 202], объем активированной долговременной памяти формирует объем рабочей памяти, которая непосредственно используется в гибридном поиске. Таким образом, основным рабочим элементом в условиях поиска с семантическим предъявлением, в рамках данной модели, может являться также рабочая память. Исходя из функциональной совместимости, появляется возможность сопоставления результатов, полученных в данной работе, с результатами работ по зрительному поиску в условиях визуального предъявления цели, где непосредственно используется только зрительная рабочая память. В работе, представленной авторами [Drew, Wolfe, 2014, 301] приводятся статистические значения времени фиксации взгляда на объекте в условиях визуального предъявления цели с увеличением количества искомых целей от 2 до 16 в различных пробах, с дальнейшим логарифмическим предсказанием значений для 100 искомых целей. Приведены следующие показатели: F = 4,44; p < 0,001; eta squared (η2) = 0,73, что показывает достоверно сильное влияние фактора увеличения количества целей для рабочей зрительной памяти. Для семантического предъявления цели данные результаты соотносятся с результатами нашей работы c близкими значениями статистического критерия F (4,44 – для работы авторов, 4 – для нашей работы) с различиями в оценке силы влияния факторов, однако, результаты подтверждаются. Анализ средних значений фиксации взгляда с учетом стандартного отклонения показывает близкие результаты. В работе авторов приводятся значения увеличения показателей фиксации взгляда на объекте от 57 мс (для 2 искомых целей) до 207 мс (для 100 искомых целей), что значительно ниже показателей для нашего эксперимента (159 мс для наименьшей семантической категории и 357 – для наибольшей). Несмотря на это, трудно сопоставить объем структурных единиц, принадлежащих к каждой семантической категории, так как для каждого испытуемого он будет своим, с учетом индивидуального опыта. Однако, общая тенденция к увеличению показателей времени достоверно сохраняется. Предположительно, это может быть объяснено одинаковой функциональной обработкой информации для рабочей памяти в гибридном поиске, как в условиях визуального предъявления стимулов – где участвует только зрительная рабочая память, так и для семантического предъявления – где начало обработки информации начинается с ее активации в долговременной памяти.

Анализ данных, приведенных в таблице 1, показывает значительное увеличение основных показателей для категории «Неодушевленные предметы», которое также может быть обусловлено как размером данной семантической категории, так и сложностью соотнесения каждого объекта на изображении с данной категорией. В случае с размером семантической категории, данное явление может быть объяснено увеличением количества информации, необходимой для обработки в долговременной памяти и рабочей памяти. Однако, это так же может быть обусловлено необходимости решать некоторую когнитивную задачу в виде соотнесения объекта с категорией, удовлетворяющей условиям поиска. Для дальнейшей проверки достоверных причин значительного увеличения показателей времени для наибольшей семантической категории, необходимо проведение эксперимента, в котором основным исследовательским приемом будет сопоставление времени гибридного поиска для данной семантической категории и времени гибридного поиска, в котором испытуемый решает некоторую обязательную когнитивную задачу для обнаружения искомого предмета. В таком случае, можно будет подтвердить достоверность гипотезы в рамках данной исследовательской модели.

Выводы

Проведенное исследование было направлено на проверку предположения о возможности влияния количества информации в активированной долговременной памяти на скорость зрительного поиска объектов на изображении. В соответствии с поставленной гипотезой, можно сделать вывод об обнаружении значимой положительной динамики изменения скорости поиска объектов на изображении от размера предъявляемой семантической категории для поиска. С увеличением размера семантической категории возрастает как общее время анализа изображения, так и время фиксации взгляда на искомых объектах и объектах-дистракторах.


Список литературы

1 Wolfe J. M. Visual search //Current biology. – 2010. – V. 20, №. 8. – P. 346-349.
2 Treisman A. M., Gelade G. A feature-integration theory of attention //Cognitive psychology. – 1980. – V. 12, №. 1. – P. 97-136.
3 Eimer M., Grubert A. Spatial attention can be allocated rapidly and in parallel to new visual objects //Current Biology. – 2014. – V. 24, №. 2. – P. 193-198.
4 Baddeley A. Working memory: Looking back and looking forward // Nature Reviews: Neuroscience. - 2003. – V. 4. – P. 829–839.
5 Drew T., Boettcher S. E. P., Wolfe J. M. Searching while loaded: Visual working memory does not interfere with hybrid search efficiency but hybrid search uses working memory capacity //Psychonomic bulletin & review. – 2016. – V. 23, №. 1. – С. 201-212.
6 Болдырев Н. Н. Языковые категории как формат знания // Вопросы когнитивной лингвистики. – 2006. – № 2. – С. 5–22.
7 Клацки Р. Память человека. Структуры и процессы. – М: Мир, 1978. – 320 с.
8 Drew T., Boettcher S. E. P., Wolfe J. M. One visual search, many memory searches: An eye-tracking investigation of hybrid search //Journal of vision. – 2017. – V. 17, № 11. – P. 5-5.
9 Cunningham C. A., Wolfe J. M. The role of object categories in hybrid visual and memory search //Journal of Experimental Psychology: General. – 2014. – V. 143, №. 4. – P. 1585.
10 Hershler O., Hochstein S. At first sight: A high-level pop out effect for faces //Vision research. – 2005. – V. 45, № 13. – P. 1707-1724.
11 Барабанщиков В. А., Жегалло А. В. Методы регистрации движений глаз: теория и практика //Психолого-педагогические исследования. – 2010. – №. 5. – c. 240–254
12 Howell D. C. Statistical methods for psychology. – Cengage Learning. – 2009.
13 Drew T., Wolfe J. M. Hybrid search in the temporal domain: Evidence for rapid, serial logarithmic search through memory //Attention, Perception, & Psychophysics. – 2014. – V. 76, №. 2. – P. 296-303.

Расскажите о нас своим друзьям: