Аппаратно-программный комплекс для поиска и выделения информативных признаков в изображениях средств невербальной коммуникации

Жукова О.В., Шелепин Ю.Е., Нариса Нан Чу, По-Лей Ли, Хао-Тенг Сюй, Пронин С.В., Шелепин Е.Ю., Васильев П.П., Лебедев В.С., Моисеенко Г.А., Морозов С.А. Аппаратно-программный комплекс для поиска и выделения информативных признаков в изображениях средств невербальной коммуникации // Оптический журнал. 2022. Т. 89. № 8. С. 33–42. http://doi.org/10.17586/1023-5086-2022-89-08-33-42

Zhukova O.V., Shelepin Yu.E., Chu N.N., Lee P.-L., Hsu H.-T., Pronin S.V., Shelepin E.Yu., Vasiljev P.P., Lebedev V.S., Moiseenko G.A., Morozov S.A. Hardware and software complex for the detection and identification of informative features in images of means of nonverbal communication  [in Russian] // Opticheskii Zhurnal. 2022. V. 89. № 8. P. 33–42. http://doi.org/10.17586/1023-5086-2022-89-08-33-42

O. V. Zhukova, Yu. E. Shelepin, N. N. Chu, P.-L. Lee, H.-T. Hsu, S. V. Pronin, E. Yu. Shelepin, P. P. Vasil’ev, V. S. Lebedev, G. A. Moiseenko, and S. A. Morozov, "Hardware and software complex for the detection and identification of informative features in images of means of nonverbal communication," Journal of Optical Technology. 89(8), 454-460 (2022). https://doi.org/10.1364/JOT.89.000454

Предметом исследования являются технологии выделения информативных признаков в динамических изображениях (видео) средств невербальной коммуникации операторов в процессе совместной конструктивной деятельности. Цель данной работы — разработать методы поиска и выделения значимых признаков невербального общения в принимаемых динамических (видео) изображениях лиц партнёров, признаков, являющихся ключевыми в совместной деятельности партнёров, при выключенном вербальном канале связи. Метод. Разработана технология взаимодействия и создан аппаратно-программный комплекс для выделения «маркеров общения» в изображениях мимики и движений глаз партнёров в процессе совместной игровой деятельности, в которой невербальная коммуникация играет ключевую роль, а речевой канал связи выключен. Суть совместной деятельности заключалась в поиске одним из партнёров в наблюдаемом им изображении скрытой цели при помощи невербальной подсказки от второго партнёра, который видит положение цели на своем экране. Партнёры были подобраны из представителей двух удалённых территориально культур — русской и китайской. Взаимодействия партнёров в процессе работы с изображениями объекта деятельности, получаемыми по видеосвязи одновременно в двух исследовательских центрах на западе и востоке Евразии, оценивали по физиологическим параметрам, регистрируемым одновременно. Основные результаты. Создан новый алгоритм исследования изображений — средств невербального взаимодействия, обеспечивающих достижение совместной цели без речевого канала связи. На примере движений глаз партнёров, общеизвестных ключевых признаков невербальной коммуникации, показали их эффективность в процессе конструктивной совместной деятельности. Постановка задачи была задана обеим группам испытуемых, как китайской, так и русской в виде (английского) текста. На основании проведённых нами измерений невербальное взаимодействие в задаче поиска положения цели работает одинаково для представителей обеих культур и зависит от роли партнёров и типа выполняемой задачи. Установлены корреляционные связи между активностью различных нейронных сетей головного мозга, обеспечивающие распознавание изображений в процессе поиска цели невербального общения. Анализ изображений движений глаз выделил «классический» паттерн «захвата глаз» в процессе общения как ведомым, так и ведущим партнёром. Происходит постоянное переключение от оценки изображений глаз партнёра на поиск цели во всем изображении. Полученные результаты позволяют утверждать, что, во-первых, когнитивный процесс распознавания мимики, вероятно,самый сложный зрительный когнитивный процесс, а, во-вторых, то, что при выполнении общей и понятной обоим партнёрам совместной деятельности существуют единые алгоритмы поведения. Практическая значимость. Создан аппаратно-программный комплекс для поиска значимых признаков невербальной коммуникации в изображениях лиц. На примере явных базовых сигналов невербальной коммуникации показана работоспособность предлагаемой технологии поиска признаков, что открывает новые пути обучения искусственных нейронных сетей в обеспечении «интуитивного» невербального общения машины и человека в распознавании скрытых признаков невербальной коммуникации.

Исследование выполнено при финансовой поддержке РФФИ и Министерства по науке и технологиям Тайваня в рамках научного проекта № 21-515-52004.