Применение искусственных нейронных сетей, учитывающих временную динамику, для анализа движения глаз без специального оборудования

Малахова Е.Ю., Шелепин Е.Ю., Малашин Р.О.

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Малахова Е.Ю., Шелепин Е.Ю., Малашин Р.О. Применение искусственных нейронных сетей, учитывающих временную динамику, для анализа движения глаз без специального оборудования // Оптический журнал. 2018. Т. 85. № 3. С. 77–80. http://doi.org/10.17586/1023-5086-2018-85-03-77-80

Malakhova E.Yu., Shelepin E.Yu., Malashin R.O. Temporal data processing from webcam eye tracking using artificial neural networks [in Russian] // Opticheskii Zhurnal. 2018. V. 85. № 3. P. 77–80. http://doi.org/10.17586/1023-5086-2018-85-03-77-80

Ссылка на англоязычную версию:

E. Yu. Malakhova, E. Yu. Shelepin, and R. O. Malashin, "Temporal data processing from webcam eye tracking using artificial neural networks," Journal of Optical Technology. 85(3), 186-188 (2018). https://doi.org/10.1364/JOT.85.000186

Аннотация:

Рассмотрена технология определения направления взора на экране монитора посредством анализа снимков, получаемых с видеокамеры, направленной на пользователя, без использования дополнительного оборудования. Для решения этой задачи предложено комбинирование сверточной нейронной сети, извлекающей высокоуровневые признаки изображений, с нейронной сетью долгой краткосрочной памяти, учитывающей временную динамику глазодвигательной активности. Для обучения модели была собрана представительная база данных видеопоследовательностей с эталонной информацией о направлении взгляда. Эксперименты подтвердили, что учет временной информации увеличивает точность регистрации направления взгляда.

Ключевые слова:

айтрекинг, искусственные нейронные сети, анализ видеопотока

Коды OCIS: 150.0150

Список источников:

1. Sewell W., Komogortsev O. Real-time eye gaze tracking with an unmodified commodity webcam employing a neural network // ACM. 2010. P. 3739–3744.
2. Demjén E., Abosi V., and Tomori Z. Eye tracking using artificial neural networks for human computer interaction // Physiological Research. 2011. V. 60. № 5. P. 841.
3. Krizhevsky A., Sutskever I., Hinton E.G. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Proc. Systems. 2012. V. 2. P. 1097–1105.
4. George A., Routray A. Real-time eye gaze direction classification using convolutional neural network // SPCOM. 2016. P. 1–5.
5. Krafka K., Khosla A., Kellnhofer P., Kannan H., Bhandarkar S., Matusik W., Torralba A. Eye tracking for everyone // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. 2016. P. 2176–2184.
6. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. V. 9. № 8. P. 1735–1780.