Оценка уровня знания иностранного языка на основе данных о движениях глаз

Демарева В.А., Голубинская А.В., Еделева Ю.А., Голубин Р.В.

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Демарева В.А., Голубинская А.В., Еделева Ю.А., Голубин Р.В. Оценка уровня знания иностранного языка на основе данных о движениях глаз // Оптический журнал. 2022. Т. 89. № 8. С. 76–85. http://doi.org/10.17586/1023-5086-2022-89-08-76-85

Demareva V.A., Golubinskaya A.V., Edeleva Yu.A., Golubin R.V. Evaluation of level of foreign language proficiency based on eye movement data [in Russian] // Opticheskii Zhurnal. 2022. V. 89. № 8. P. 76–85. http://doi.org/10.17586/1023-5086-2022-89-08-76-85

Ссылка на англоязычную версию:

V. A. Demareva, A. V. Golubinskaya, Yu. A. Edeleva, and R. V. Golubin, "Evaluation of level of foreign language proficiency based on eye movement data," Journal of Optical Technology. 89(8), 484-489 (2022). https://doi.org/10.1364/JOT.89.000484

Аннотация:

Предмет исследования. Технологию оптической записи движений глаз применили для оценки уровня знания иностранного языка. Провели анализ отражения неосознаваемых познавательных процессов в окулографических данных при чтении и связи характеристик движения глаза с тем, насколько сложным этот текст кажется читателю. Цель работы заключалась в поиске взаимосвязи между особенностями движения глаз при чтении на родном и иностранном языке с учётом особенностей самого языка и уровня владения им. Метод. Исследование состояло из двух этапов, суммарный объём выборки составил 63 человека — русскоязычных студентов в возрасте 19–27 лет, для которых английский язык является иностранным. Уровень знания русского и английского языка оценивался по методике С-тест. Экспериментальная задача была следующая — после прохождения 9-точечной калибровки прочитать англоязычные тексты на слайдах и ответить на вопросы на понимание. Запись движений глаз проводилась на установке SMI-High Speed Tracker 12 бинокулярно с частотой дискретизации 500 Гц. Первый этап был направлен на изучение особенностей движений глаз при чтении текстов на родном и иностранном языке (при высоком уровне владения последним). Второй этап был направлен на изучение особенностей движений глаз при чтении иностранных текстов при разном уровне знания иностранного языка. Основные результаты. Показано, что параметры движений глаз отличаются при чтении текстов на родном (русском) и иностранном (английском) языках даже при высоком уровне владения последним. Установлено, что паттерны глазных движений изменяются при разном уровне владения иностранным (английским) языком при чтении на нём. Практическая значимость. Полученные данные дают оценку сложности текста для испытуемого. Оценка сложности текста по характеристикам движений глаз позволит создать алгоритмы нормирования различных текстов по сложности. Результаты проведённых исследований могут быть использованы при проектировании автоматических систем оценки уровня владения иностранным языком.

Ключевые слова:

распознавание образов, оптическая система, тексты, чтение, распознавание текста, родной язык, иностранный язык, движения глаз, модели чтения, оценка уровня понимания

Благодарность:

Работа выполнена при финансовой поддержке гранта Президента Российской Федерации для государственной поддержки молодых российских ученых — кандидатов наук (Конкурс МК-2021) МК-6208.2021.2.

Коды OCIS: 170.5380, 150.1135

Список источников:

1. Tsakanikas P., Pavlidis D., Nychas G. J. High throughput multispectral image processing with applications in food science // PloS one. 2015. V. 10(10). P. e0140122. https://doi.org/10.1371/journal.pone.0140122
2. Chan H.P., Samala R.K., Hadjiiski L.M., Zhou C. Deep learning in medical image analysis // Advances in experimental medicine and biology. 2020. V. 1213. P. 3–21. https://doi.org/10.1007/978-3-030-33128-3_1
3. Huang Z., Li Q., Lu J., Feng J., Hu J., Chen P. Recent advances in medical image processing // Acta cytologica. 2021. V. 65(4). P. 310–323. https://doi.org/10.1159/000510992
4. Esmaeel A.M., ElMelegy T., Abdelgawad M. Multi-purpose machine vision platform for different microfluidics applications // Biomedical microdevices. 2019. V. 21(3). P. 68. https://doi.org/10.1007/s10544-019-0401-1
5. Fernandes A.F.A., Dórea J.R.R., Rosa G.J.M. Image analysis and computer vision applications in animal sciences: An overview // Front. Vet. Sci. 2020. V. 7. P. 551269. DOI: 10.3389/fvets.2020.551269
6. Kwak S., Bae G., Kim M., Byun H. Unusual behavior detection in the entry gate scenes of subway station using Bayesian networks and inference // Image Processing: Machine Vision Applications. International Society for Optics and Photonics. 2008. V. 6813. P. 681311. https://doi.org/10.1117/12.766946
7. Yeap D., Hichwa P.T., Rajapakse M.Y., Peirano D.J., McCartney M.M., Kenyon N.J., Davis C.E. Machine vision methods, natural language processing, and machine learning algorithms for automated dispersion plot analysis and chemical identification from complex mixtures // Analytical chemistry. 2019. V. 91(16). P. 10509–10517. https://doi.org/10.1021/acs.analchem.9b01428
8. Valliappan N., Dai N., Steinberg E., He J., Rogers K., Ramachandran V., Xu P., Shojaeizadeh M., Guo L., Kohlhoff K., Navalpakkam V. Accelerating eye movement research via accurate and affordable smartphone eye tracking // Nature communications. 2020. V. 11(1). P. 4553. https://doi.org/10.1038/s41467-020-18360-5
9. Cazzato D., Leo M., Distante C., Voos H. When I look into your eyes: A survey on computer vision contributions for human gaze estimation and tracking // Sensors. 2020. V. 20(13). P. W3739. https://doi.org/10.3390/s20133739
10. Rahman H., Ahmed M. U., Barua S., Funk P., Begum S. Vision-based driver's cognitive load classification considering eye movement using machine learning and deep learning // Sensors. 2021. V. 21(23). P. 8019. https://doi.org/10.3390/s21238019
11. Lewandowska A., Rejer I., Bortko K., Jankowski J. Eye-tracker study of influence of affective disruptive content on user's visual attention and emotional state // Sensors. 2022. V. 22(2). P. 547. https://doi.org/10.3390/s22020547
12. Brookhuis K.A. Assessment of drivers’ workload: Performance, subjective and physiological indices // Stress, Workload and Fatigue. Mahwah, NJ, USA, 2001. P. 321–333.
13. Tao D., Tan H., Wang H., Zhang X., Qu X., Zhang T. A systematic review of physiological measures of mental workload // International Journal of Environmental Research and Public Health. 2019. 16(15):2716. https://doi.org/10.3390/ijerph16152716
14. Nawal A.F. Cognitive load theory in the context of second language academic writing // Higher Education Pedagogies. 2018. V. 3(1). P. 385–402. https://doi.org/10.1080/23752696.2018.1513812
15. Andrzejewska M., Stolińska A. Comparing the difficulty of tasks using eye tracking combined with subjective and behavioural criteria // Journal of Eye Movement Research. 2016. V. 9(3). P. 1–16. https://doi.org/10.16910/jemr.9.3.3
16. Reichle E.D., Warren T., McConnell K. Using E-Z Reader to model the effects of higher-level language processing on eye movements during reading // Psychonomic Bulletin & Review. 2009. V. 16. P. 1–21. https://doi.org/10.3758/PBR.16.1.1
17. Engbert R., Nuthmann A., Richter E., Kliegl R. SWIFT: a dynamical model of saccade generation during reading // Psychological Review. 2005. V. 112. P. 777–813. https://doi.org/10.1037/0033-295X.112.4.777
18. Дубасова А.В. Движения глаз во время чтения: от общих теорий к частным [Электронный ресурс]. Режим доступа: https://www.academia.edu/3074458, свободный. Яз. рус. (дата обращения 09.03.2022).
19. Lamminpiya A.A., Pronin S.V., Shelepin Yu.E. Spatial frequency text filtering for local and global analysis // Journal of Optical Technology. 2018. V. 85. № 8. P. 476–481.

20. Ламминпия А.М., Вахрамеева О.А., Райт Д.В., Пронин С.В., Шелепин Ю.Е. Влияние вейвлетной фильтрации изображений текстов на характеристики движений глаз при чтении // Сенсорные системы. 2013. Т. 27. № 1. С. 3–9.
21. Reichle E.D., Reingold E.M. Neurophysiological constraints on the eye-mind link // Frontiers in Human Neuroscience. 2013. V. 7:361. https://doi.org/10.3389/fnhum.2013.00361
22. Reingold E.M., Reichle E.D., Glaholt M.G., Sheridan H. Direct lexical control of eye movements in reading: evidence from survival analysis of fixation durations. // Cognitive Psychology. 2012. V. 65. P. 177–206. https://doi.org/10.1016/j.cogpsych.2012.03.001
23. Rayner K. Eye movements in reading and information processing: 20 years of research // Psychological bulletin. 1998. V. 124(3). P. 372–422. https://doi.org/10.1037/0033-2909.124.3.372
24. Tiffin-Richards S.P., Schroeder S. The development of wrap-up processes in text reading: A study of children’s eye movements // Journal of Experimental Psychology: Learning, Memory, and Cognition. 2018. V. 44(7). P. 1051–1063. https://doi.org/10.1037/xlm0000506
25. Raney G.E., Campbell S.J., Bovee J.C. Using eye movements to evaluate the cognitive processes involved in text comprehension // Journal of Visualized Experiments. 2014. V. 83. P. e50780. https://doi.org/10.3791/50780
26. Liversedge S.P., Drieghe D., Li X., Yan G., Bai X., Hyönä J. Universality in eye movements and reading: A trilingual investigation // Cognition. 2016. V. 147. P. 1–20. https://doi.org/10.1016/j.cognition.2015.10.013
27. Babaii E., Ansary H. The C-test: a valid operationalization of reduced redundancy principle? // System. 2011. V. 29. P. 209–219. https://doi.org/10.1016/S0346-251X(01)00012-4
28. Cook S.V., Pandža N.B., Lancaster A.K., Gor K. Fuzzy nonnative phonolexical representations lead to fuzzy form-to-meaning mappings // Frontiers in Psychology. 2016. V. 7. P. 1–17. https://doi.org/10.3389/fpsyg.2016.01345
29. Felser C., Cunnings I. Processing reflexives in a second language: The timing of structural and discourselevel constraints // Applied Psycholinguistics. 2012. V. 33. P. 571–603.
30. Frenck-Mestre C., Pynte J. Syntactic ambiguity resolution while reading in a second and native languages // The Quarterly Journal of Experimental Psychology. 1997. V. 50A. P. 119–48.
31. Fernandez L.B., Bothe R., Allen S.E. The role of L1 reading direction on L2 perceptual span: An eye-tracking study investigating Hindi and Urdu speakers // Second Language Research. 2021. P. 02676583211049742.
32. Demareva V.A., Edeleva Y.A. Eye-tracking based L2 detection: Universal and specific eye movement patterns in L1 and L2 reading // Procedia Computer Science. 2020. V. 169. P. 673–676. https://doi.org/10.1016/j.procs.2020.02.185
33. Izmalkova A., Blinnikova I., Rabeson M. Linear and non-linear patterns of eye movements in lexical search: Expert versus novice language learners // Advances in Cognitive Research, Artificial Intelligence and Neuroinformatics / Ed. by Velichkovsky B.M., Balaban P.M., Ushakov V.L. Moscow. Russia. Oct. 10–16 2020. V. 1358. https://doi.org/10.1007/978-3-030-71637-0_21
34. Blinnikova I.V., Rabeson M.D., Izmalkova A.I. Eye movements and word recognition during visual semantic search: Differences between expert and novice language learners // Psychology in Russia: State of the art. 2019. V. 12 (1). P. 129–146. DOI: 10.11621/pir.2019.0110
35. Hengeveld K., Leufkens S. Transparent and non-transparent languages // Folia Linguistica. 2018. V. 52(1). P. 139–175. https://doi.org/10.1515/flin-2018-0003
36. Hamid M.O., Hardy I., Reyes V. Test-takers’ perspectives on a global test of English: questions of fairness, justice and validity // Language Testing in Asia. 2019. V. 9(16). P. 1–20. https://doi.org/10.1186/s40468-019-0092-9
37. Барабанщиков В.А. Регистрация и анализ направленности взора человека: монография / Под ред. Барабанщикова В.А., Жегалло А.В. Москва: Институт психологии РАН, 2013. 316 с.
38. Berzak Y., Katz B., Levy R. Assessing language proficiency from eye movements in reading // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2018. V. 1. P. 1986–1996. DOI: 10.18653/v1/N18-1180
39. Малахова Е.Ю., Шелепин Е.Ю., Малашин Р.О. Применение искусственных нейронных сетей, учитывающих временную динамику, для анализа движения глаз без специального оборудования // Оптический журнал. 2018. Т. 85. № 3. С. 77–80.