База видеоизображений естественных эмоциональных экспрессий: восприятие эмоций и автоматизированный анализ мимики лица

Королькова О.А., Лободинская Е.А. База видеоизображений естественных эмоциональных экспрессий: восприятие эмоций и автоматизированный анализ мимики лица // Оптический журнал. 2022. Т. 89. № 8. С. 97–103. http://doi.org/10.17586/1023-5086-2022-89-08-97-103

Korolkova O.A., Lobodinskaya E.A. Database of video images of natural emotional facial expressions: perception of emotions and automated analysis of facial structure [in Russian] // Opticheskii Zhurnal. 2022. V. 89. № 8. P. 97–103. http://doi.org/10.17586/1023-5086-2022-89-08-97-103

O. A. Korolkova and E. A. Lobodinskaya, "Database of video images of natural emotional facial expressions: perception of emotions and automated analysis of facial structure," Journal of Optical Technology. 89(8), 498-501 (2022). https://doi.org/10.1364/JOT.89.000498

Предмет исследования. Развитие методов автоматизированного распознавания выражений лица требует создания новых стимульных наборов, содержащих динамические изображения естественных эмоциональных экспрессий. На сегодняшний день подобные базы, разработанные и валидизированные на российской выборке, отсутствуют. Цель работы — создание базы динамических изображений естественных эмоциональных экспрессий и сопоставление профилей субъективных оценок видеоизображений естественных экспрессий с результатами автоматизированного анализа лицевых жестов. Метод. Эмоциональные профили видеоизображений экспрессий лица были получены на основании оценок наблюдателей. Участники исследования (N = 250) оценивали по пятибалльной шкале выраженность 33 дифференциальных эмоций на каждом из 210 видеофрагментов естественных экспрессий, принадлежащих 5 натурщикам. Для получения количественных оценок мимических изменений на лицах натурщиков видеофрагменты экспрессий подвергались автоматизированному анализу структуры лица с использованием программы OpenFace 2.0. Эмоциональные профили видеофрагментов и результаты автоматизированной разметки сопоставлялись при помощи метода сравнения репрезентаций (Representational similarity analysis). Рассчитывался ранговый коэффициент корреляции между матрицами, представляющими структуру субъективных оценок экспрессий и формального описания мимики лица. Дополнительно на основании субъективных оценок проведён кластерный анализ методом k-средних для выявления структуры категорий воспринимаемых эмоциональных состояний. Основные результаты. Анализ сходства репрезентаций продемонстрировал наличие значимой положительной корреляции между субъективными оценками экспрессий и их описанием в терминах лицевых действий. Однако полученная корреляция является низкой (0,214), что предполагает значительную вариативность мимических паттернов, субъективно воспринимающихся как сходные по эмоциональному содержанию. Кластерный анализ позволил выявить 5 кластеров, соответствующих таким эмоциям как «внимание», «радость», «удивление», «печаль» и «отвращение». Практическая значимость. Разработанная база естественных эмоциональных экспрессий представляет интерес для исследователей, работающих в сфере Affective computing — в частности, при создании более эффективных методов распознавания эмоциональных состояний пользователей и моделировании эмоциональных ответов роботизированных систем.

Работа выполнена при финансовой поддержке Российского научного фонда (РНФ) в рамках научного проекта № 18-18-00350-П «Восприятие в структуре невербальной коммуникации».