Общность алгоритмов движений глаз, обеспечивающих распознавание жанровых сцен в текстах и в изображениях

Шелепин Е.Ю., Жукова О.В., Пронин С.В., Защиринская О.В., Шелепин Ю.Е.

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Шелепин Е.Ю., Жукова О.В., Пронин С.В., Защиринская О.В., Шелепин Ю.Е. Общность алгоритмов движений глаз, обеспечивающих распознавание жанровых сцен в текстах и в изображениях // Оптический журнал. 2019. Т. 86. № 11. С. 79–89. http://doi.org/10.17586/1023-5086-2019-86-11-79-89

Shelepin E.Yu., Zhukova O.V., Pronin S.V., Zhashchirinskaya O.V., Shelepin Yu.E. The common nature of eye-movement algorithms that ensure that genre scenes will be recognized in texts and in images [in Russian] // Opticheskii Zhurnal. 2019. V. 86. № 11. P. 79–89. http://doi.org/10.17586/1023-5086-2019-86-11-79-89

Ссылка на англоязычную версию:

E. Yu. Shelepin, O. V. Zhukova, S. V. Pronin, O. V. Zhashchirinskaya, and Yu. E. Shelepin, "The common nature of eye-movement algorithms that ensure that genre scenes will be recognized in texts and in images," Journal of Optical Technology. 86(11), 739-747 (2019). https://doi.org/10.1364/JOT.86.000739

Аннотация:

Исследованы характеристики движений глаз в задачах распознавания текстов и комиксов с описаниями динамических жанровых сцен. Анализ взаимосвязи мысленно построенного наблюдателем смыслового пространства комиксов и смыслового пространства тестовых изображений, построенного исследователем, проведен с помощью измерений характеристик движений глаз, выполнявших роль своеобразного маркера, проецирующего на объект исследования субъективный алгоритм анализа контента. Выявлены общие черты, присущие распределению саккад и фиксаций взора в пространстве изображения при восприятии комиксов и текстовых изображений, вероятно, отражающие алгоритм выявления семантической, смысловой структуры изображений, общий для анализа разных способов передачи информации в мультимедиа. Этот алгоритм нарушается при различных заболеваниях головного мозга. Сделано предположение, что независимо от различия представления информации в текстах и в комиксах понимание обеспечивают общие механизмы построения внутреннего, воображаемого контента, изменяющегося во времени.

Ключевые слова:

контент, распознавание сцен, движение глаз, чтение, текст, изображения сцен, мультимедиа

Благодарность:

Работа выполнена в рамках финансирования Программы фундаментальных научных исследований государственных академий на 2013–2020 гг. (ГП-14, раздел 63), Институт физиологии им. И.П. Павлова. Исследование старшеклассников с разным уровнем интеллектуального развития выполнено в рамках проекта Российского научного фонда № 14-18-02135 «Психофизиологические и нейролингвистические аспекты процесса распознавания вербальных и невербальных паттернов».

Коды OCIS: 100.4996, 330.2210, 330.6110

Список источников:

1. Московченко Л.В., Тупиков В.А., Лысенко Э.Л. Концепция построения перспективных систем оптико-электронной пассивной локации для надводных кораблей // Национальная оборона. 2012. № 9. С. 60–61.
2. Шелепин Ю.Е. Введение в нейроиконику. СПб.: Троицкий мост, 2017. 350 с.
3. Красильников Н.Н. Цифровая обработка 2D- и 3D-изображений. СПб.: БХВ-Петербург, 2011. 608 с. ISBN 978-5-9775-0700-4.
4. Ламминпия А.М., Пронин С.В., Шелепин Ю.Е. Пространственно-частотная фильтрация текста для локального и глобального анализа // Оптический журнал. 2018. Т. 85. № 8. С. 38–45.
5. Ламминпия А.М., Малахова Е.Ю. О восприятии движения реальной и воображаемой сцены // Нейротехнологии /под ред. Шелепина Ю.Е., Чихмана В.Н. СПб., 2018. С. 257–268. ISBN 978-5-9651-1198-5.
6. Ламминпия А.М., Вахрамеева О.А., Райт Д.В. и др. Влияние вейвлетной фильтрации изображений текстов на характеристики движений глаз при чтении // Сенсорные системы. 2013. Т. 27. № 1. С. 3–9.
7. Шипунов А.Б., Балдин Е.М., Волкова П.А. и др. Наглядная статистика. Используем R! М.: ДМК Пресс, 2014. 298 с.
8. Cohn N. The visual language of comics: Introduction to the structure and cognition of sequential images. London, UK: Bloomsbury, 2013. 240 p.
9. Hegarty M., Just M.A. Constructing mental models of machines from text and diagrams // J. Memory and Language. 1993. V. 32. № 6. P. 717–742.
10. Rayner K., Rotello C.M., Stewart A.J., et al. Integrating text and pictorial information: Eye movements when looking at print advertisements // J. Experimental Psychology. 2001. V. 7. № 3. P. 219–226.
11. Барабанщиков В.А. Экспрессии лица и их восприятие. М.: Институт психологии РАН, 2012. 341 с.
12. Ламминпия А.М., Шелепин Ю.Е., Бауэр С.М., Вахрамеева О.А., Райт Д.В. Влияние оптических свойств текста на работу каналов зрительной системы человека // Сб. тезисов докладов Всерос. молодежной конф. «Нейробиология интегративных функций мозга». СПб., 2013. С. 43.
13. Гассовский Л.Н., Никольская Н.А. Движения глаз в процессе непрерывной фиксации точки // Тр. ГОИ. 1941. Т. 15. С. 112–120.
14. Глезер В.Д. Зрение и мышление. Л.: Наука, 1993.
15. Фу К. Структурные методы в распознавании образов. М.: Мир, 1977. 320 с.
16. Тупиков В.А, Павлова В.А., Крюков С.Н. и др. Лингвистические методы в задачах распознавания изображений // Известия ЮФУ (технические науки). 2015. Т. 1. № 162. С. 142–151.
17. Shannon R.V., Zeng F.G., Kamath V., et al. Speech recognition with primarily temporal cues // Science. 1995. V. 270. P. 303–304.
18. Lublinskaya V.V., Ross J., Ogorodnikova E.A. Auditory perception and processing of amplitude modulation in speechlike signals: Legacy of the Chistovich–Kozhevnikov group // NATO Science Series. Ser. 1: Life and Behavioural Sciences (Dynamics of Speech Production and Perception). 2006. V. 374. P. 87–103.
19. Шелепин К.Ю., Пронин С.В., Шелепин Ю.Е. Распознавание фрагментированных изображений и возникновение «инсайта» // Оптический журнал. 2015. Т. 82. № 10. C. 70–78.
20. Шелепин К.Ю., Труфанов Г.Е., Фокин В.А. и др. Активность нейронных сетей головного мозга человека до, во время и после инсайта при распознавании изображений // Нейротехнологии / под ред. Шелепина Ю.Е., Чихмана В.Н. СПб., 2018. С. 207–243. ISBN 978-5-9651-1198-5.
21. Shelepin K.Y., Trufanov G.E., Fokin V.A., et al. Digital visualization of the activity of neural networks of the human brain before, during, and after insight when images are being recognized // JOT. 2018. V. 85. № 8. P. 468–475.
22. Ardila A., Bernal B., Rosselli M. Language and visual perception associations: Meta-analytic connectivity modeling of Brodmann area 37 // Behavioral Neurology. 2015. V. 2015. P. 2–14.
23. Ardila A., Bernal B., Rosselli M. How localized are language Brain areas? A review of Brodmann areas involvement in oral language // Archives of Clinical Neuropsychology. 2016. № 31. P. 112–122.