Научно-технический
«ОПТИЧЕСКИЙ ЖУРНАЛ»
издается с 1931 года
 
   
Русский вариант сайта Английский вариант сайта
   
       
   
       
Статьи последнего выпуска

Электронные версии
выпусков начиная с 2008


Алфавитный указатель
2000-2010 гг


444
Архив оглавлений
выпусков 2002-2007 гг


Реквизиты и адреса

Вниманию авторов и рецензентов!
- Порядок публикации
- Порядок рецензирования статей
- Типовой договор
- Правила оформления
- Получение авторского вознаграждения
- Редакционная этика


Контакты

Подписка

Карта сайта




Журнал с 01.12.2015 допущен ВАК для публикации основных результатов диссертаций как издание, входящее в международные реферативные базы систем цитирования (Web Science, Scopus) (см. Vak.ed.gov.ru Перечень журналов МБД 16.03.2018г)

Аннотации (11.2019) : ОБЩНОСТЬ АЛГОРИТМОВ ДВИЖЕНИЙ ГЛАЗ, ОБЕСПЕЧИВАЮЩИХ РАСПОЗНАВАНИЕ ЖАНРОВЫХ СЦЕН В ТЕКСТАХ И В ИЗОБРАЖЕНИЯХ

ОБЩНОСТЬ АЛГОРИТМОВ ДВИЖЕНИЙ ГЛАЗ, ОБЕСПЕЧИВАЮЩИХ РАСПОЗНАВАНИЕ ЖАНРОВЫХ СЦЕН В ТЕКСТАХ И В ИЗОБРАЖЕНИЯХ

 

© 2019 г. Е. Ю. Шелепин*, аспирант; О. В. Жукова*, канд. психол. наук; С. В. Пронин*; О. В. Защиринская**, доктор психол. наук; Ю. Е. Шелепин*, **, доктор мед. наук

*   Институт физиологии им. И.П. Павлова Российской академии наук, Санкт-Петербург

** Санкт-Петербургский государственный университет, Санкт-Петербург

E-mail: yshelepin@yandex.ru

УДК 612.8; 528.854

Поступила в редакцию 01.09.2019

DOI:10.17586/1023-5086-2019-86-11-79-89

Исследованы характеристики движений глаз в задачах распознавания текстов и комиксов с описаниями динамических жанровых сцен. Анализ взаимосвязи мысленно построенного наблюдателем смыслового пространства комиксов и смыслового пространства тестовых изображений, построенного исследователем, проведен с помощью измерений характеристик движений глаз, выполнявших роль своеобразного маркера, проецирующего на объект исследования субъективный алгоритм анализа контента. Выявлены общие черты, присущие распределению саккад и фиксаций взора в пространстве изображения при восприятии комиксов и текстовых изображений, вероятно, отражающие алгоритм выявления семантической, смысловой структуры изображений, общий для анализа разных способов передачи информации в мультимедиа. Этот алгоритм нарушается при различных заболеваниях головного мозга. Сделано предположение, что независимо от различия представления информации в текстах и в комиксах понимание обеспечивают общие механизмы построения внутреннего, воображаемого контента, изменяющегося во времени.

Ключевые слова: контент, распознавание сцен, движение глаз, чтение, текст, изображения сцен, мультимедиа.

Коды OCIS: 100.4996, 330.2210, 330.6110

 

Литература

1.         Московченко Л.В., Тупиков В.А., Лысенко Э.Л. Концепция построения перспективных систем оптико-электронной пассивной локации для надводных кораблей // Национальная оборона. 2012. № 9. С. 60–61.

2.         Шелепин Ю.Е. Введение в нейроиконику. СПб.: Троицкий мост, 2017. 350 с.

3.         Красильников Н.Н. Цифровая обработка 2D- и 3D-изображений. СПб.: БХВ-Петербург, 2011. 608 с. ISBN 978-5-9775-0700-4.

4.         Ламминпия А.М., Пронин С.В., Шелепин Ю.Е. Пространственно-частотная фильтрация текста для локального и глобального анализа // Оптический журнал. 2018. Т. 85. № 8. С. 38–45.

5.         Ламминпия А.М., Малахова Е.Ю. О восприятии движения реальной и воображаемой сцены // Нейротехнологии / под ред. Шелепина Ю.Е., Чихмана В.Н. СПб., 2018. С. 257–268. ISBN 978-5-9651-1198-5.

6.         Ламминпия А.М., Вахрамеева О.А., Райт Д.В. и др. Влияние вейвлетной фильтрации изображений текстов на характеристики движений глаз при чтении // Сенсорные системы. 2013. Т. 27. № 1. С. 3–9.

7.         Шипунов А.Б., Балдин Е.М., Волкова П.А. и др. Наглядная статистика. Используем R! М.: ДМК Пресс, 2014. 298 с.

8.        Cohn N. The visual language of comics: Introduction to the structure and cognition of sequential images. London, UK: Bloomsbury, 2013. 240 p.

9.         Hegarty M., Just M.A. Constructing mental models of machines from text and diagrams // J. Memory and Language. 1993. V. 32. № 6. P. 717–742.

10.       Rayner K., Rotello C.M., Stewart A.J., et al. Integrating text and pictorial information: eye movements when looking at print advertisements // J. Experimental Psychology. 2001. V. 7. № 3. P. 219–226.

11.       Барабанщиков В.А. Экспрессии лица и их восприятие. М.: Институт психологии РАН, 2012. 341 с.

12.       Ламминпия А.М., Шелепин Ю.Е., Бауэр С.М., Вахрамеева О.А., Райт Д.В. Влияние оптических свойств текста на работу каналов зрительной системы человека // Сб. тезисов докладов Всерос. молодежной конф. «Нейробиология интегративных функций мозга». СПб., 2013. С. 43.

13.       Гассовский Л.Н., Никольская Н.А. Движения глаз в процессе непрерывной фиксации точки // Тр. ГОИ. 1941. Т. 15. С. 112–120.

14.       Глезер В.Д. Зрение и мышление. Л.: Наука, 1993.

15.       Фу К. Структурные методы в распознавании образов. М.: Мир, 1977. 320 с.

16.       Тупиков В.А, Павлова В.А., Крюков С.Н. и др. Лингвистические методы в задачах распознавания изображений // Известия ЮФУ (технические науки). 2015. Т. 1. № 162. С. 142–151.

17.       Shannon R.V., Zeng F.G., Kamath V., et al. Speech recognition with primarily temporal cues // Science. 1995. V. 270. P. 303–304.

18.       Lublinskaya V.V., Ross J., Ogorodnikova E.A. Auditory perception and processing of amplitude modulation in speech-like signals: Legacy of the Chistovich–Kozhevnikov group // NATO Science Series. Ser. 1: Life and Behavioural Sciences (Dynamics of Speech Production and Perception). 2006. V. 374. P. 87–103.

19.       Шелепин К.Ю., Пронин С.В., Шелепин Ю.Е. Распознавание фрагментированных изображений и возникновение «инсайта» // Оптический журнал. 2015. Т. 82. № 10. C. 70–78.

20.      Шелепин К.Ю., Труфанов Г.Е., Фокин В.А. и др. Активность нейронных сетей головного мозга человека до, во время и после инсайта при распознавании изображений // Нейротехнологии / под ред. Шелепина Ю.Е., Чихмана В.Н. СПб., 2018. С. 207–243. ISBN 978-5-9651-1198-5.

21.       Shelepin K.Y., Trufanov G.E., Fokin V.A., et al. Digital visualization of the activity of neural networks of the human brain before, during, and after insight when images are being recognized // JOT. 2018. V. 85. № 8. P. 468–475.

22.      Ardila A., Bernal B., Rosselli M. Language and visual perception associations: Meta-analytic connectivity modeling of Brodmann area 37 // Behavioral Neurology. 2015. V. 2015. P. 2–14.

23.      Ardila A., Bernal B., Rosselli M. How localized are language Brain areas? A review of Brodmann areas involvement in oral language // Archives of Clinical Neuropsychology. 2016. № 31. P. 112–122.

 

 

Полный текст