Научно-технический
«ОПТИЧЕСКИЙ ЖУРНАЛ»
издается с 1931 года
 
   
Русский вариант сайта Английский вариант сайта
   
       
   
       
Статьи последнего выпуска

Электронные версии
выпусков начиная с 2008


Алфавитный указатель
2000-2010 гг


444
Архив оглавлений
выпусков 2002-2007 гг


Реквизиты и адреса

Вниманию авторов и рецензентов!
- Порядок публикации
- Порядок рецензирования статей
- Типовой договор
- Правила оформления
- Получение авторского вознаграждения
- Редакционная этика


Контакты

Подписка

Карта сайта




Журнал с 01.12.2015 допущен ВАК для публикации основных результатов диссертаций как издание, входящее в международные реферативные базы систем цитирования (Web Science, Scopus) (см. Vak.ed.gov.ru Перечень журналов МБД 16.03.2018г)

Аннотации (08.2022) : Аппаратно-программный комплекс для поиска и выделения информативных признаков в изображениях средств невербальной коммуникации

Аппаратно-программный комплекс для поиска и выделения информативных признаков в изображениях средств невербальной коммуникации

DOI: 10.17586/1023-5086-2022-89-08-33-42

УДК 612.84; 528.854

Ольга Викторовна Жукова1* , Юрий Евгеньевич Шелепин2, Нариса Нан Чу3, По-Лей Ли4, Хао-Тенг Сюй5, Сергей Вадимович Пронин6, Евгений Юрьевич Шелепин7, Петр Павлович Васильев8, Владислав Сергеевич Лебедев9, Галина Александровна Моисеенко10, Станислав Алексеевич Морозов11

1, 2, 6, 7, 8, 9, 10, 11Институт физиологии им. И.П. Павлова Российской академии наук, Санкт-Петербург, Россия

3СWLab International, Лос-Анджелес, США

4, 5Национальный центральный университет Тайваня, Тайвань, Китай

Аннотация

Предметом исследования являются технологии выделения информативных признаков в динамических изображениях (видео) средств невербальной коммуникации операторов в процессе совместной конструктивной деятельности. Цель данной работы — разработать методы поиска и выделения значимых признаков невербального общения в принимаемых динамических (видео) изображениях лиц партнёров, признаков, являющихся ключевыми в совместной деятельности партнёров, при выключенном вербальном канале связи. Метод. Разработана технология взаимодействия и создан аппаратно-программный комплекс для выделения «маркеров общения» в изображениях мимики и движений глаз партнёров в процессе совместной игровой деятельности, в которой невербальная коммуникация играет ключевую роль, а речевой канал связи выключен. Суть совместной деятельности заключалась в поиске одним из партнёров в наблюдаемом им изображении скрытой цели при помощи невербальной подсказки от второго партнёра, который видит положение цели на своем экране. Партнёры были подобраны из представителей двух удалённых территориально культур — русской и китайской. Взаимодействия партнёров в процессе работы с изображениями объекта деятельности, получаемыми по видеосвязи одновременно в двух исследовательских центрах на западе и востоке Евразии, оценивали по физиологическим параметрам, регистрируемым одновременно. Основные результаты. Создан новый алгоритм исследования изображений — средств невербального взаимодействия, обеспечивающих достижение совместной цели без речевого канала связи. На примере движений глаз партнёров, общеизвестных ключевых признаков невербальной коммуникации, показали их эффективность в процессе конструктивной совместной деятельности. Постановка задачи была задана обеим группам испытуемых, как китайской, так и русской в виде (английского) текста. На основании проведённых нами измерений невербальное взаимодействие в задаче поиска положения цели работает одинаково для представителей обеих культур и зависит от роли партнёров и типа выполняемой задачи. Установлены корреляционные связи между активностью различных нейронных сетей головного мозга, обеспечивающие распознавание изображений в процессе поиска цели невербального общения. Анализ изображений движений глаз выделил «классический» паттерн «захвата глаз» в процессе общения как ведомым, так и ведущим партнёром. Происходит постоянное переключение от оценки изображений глаз партнёра на поиск цели во всем изображении. Полученные результаты позволяют утверждать, что, во-первых, когнитивный процесс распознавания мимики, вероятно, самый сложный зрительный когнитивный процесс, а, во-вторых, то, что при выполнении общей и понятной обоим партнёрам совместной деятельности существуют единые алгоритмы поведения. Практическая значимость. Создан аппаратно-программный комплекс для поиска значимых признаков невербальной коммуникации в изображениях лиц. На примере явных базовых сигналов невербальной коммуникации показана работоспособность предлагаемой технологии поиска признаков, что открывает новые пути обучения искусственных нейронных сетей в обеспечении «интуитивного» невербального общения машины и человека в распознавании скрытых признаков невербальной коммуникации.

Ключевые слова: обработка и синтез изображений, восприятие изображений, видеосвязь, невербальная коммуникация, распознавание изображений, мимика, нейронные сети, движения глаз

Благодарность: исследование выполнено при финансовой поддержке РФФИ и Министерства по науке и технологиям Тайваня в рамках научного проекта № 21-515-52004.

Ссылка для цитирования: Жукова О.В., Шелепин Ю.Е., Нариса Нан Чу, По-Лей Ли, Хао-Тенг Сюй, Пронин С.В., Шелепин Е.Ю., Васильев П.П., Лебедев В.С., Моисеенко Г.А., Морозов С.А. Аппаратно-программный комплекс для поиска и выделения информативных признаков в изображениях средств невербальной коммуникации // Оптический журнал. 2022. Т. 89. № 8. С. 33–42. DOI: 10.17586/1023-5086-2022-89-08-33-42

Коды OCIS: 100.4996, 330.2210, 330.6110.

 

СПИСОК ИСТОЧНИКОВ 

1.    Schober H. Informationstheorie in optik und fernsehen // Optik. 1956. V. 13. P. 350–364.

2.   Shelepin Yu.E., Kharauzov A.K., Zhukova O.V., Pronin S.V., Kupriyanov M.S., Tsvetkov O.V. Masking and detection of hidden signals in dynamic images // Journal of Optical Technology. 2021. V. 87(10). P. 624–632.

3.   Malakhova E.Yu., Shelepin E.Yu., Malashin R.O. Temporal data processing from webcam eye tracking using artificial neural networks // J. Opt. Technol. 2018. V. 85. Iss. 3. P. 186–188.

4.   Wang I., Ruiz J. Examining the use of nonverbal communication in virtual agents // International Journal of Human–Computer Interaction. 2021. V. 37 (17). P. 1648–1673.

5.   Buzsaki G. Rhythms of the brain. Oxford, New York: Oxford University Press, 2006. 448 p.

6.   Rimmele J., Gross J., Molholm S., Keitel A. Brain oscillations in human communication. Lausanne: Frontiers Media, 2018. P. 1–4. DOI: 10.3389/978-2-88945-458-7.

7.         Барабанщиков В.А. Экспрессии лица и их восприятие. М.: Изд-во «Институт психологии РАН», 2012. 341 с.