en
Назад
DOI: 10.17586/1023-5086-2024-91-08-60-74
УДК: 612.8; 621.397.3; 004.032.26; 004.93; 004.81
Обнаружение и распознавание изображений в условиях помехи
Малахова К.Ю., Шелепин К.Ю., Шелепин Ю.Е. Обнаружение и распознавание изображений в условиях помехи // Оптический журнал. 2024. Т. 91. № 8. С. 60–74. http://doi.org/10.17586/1023-5086-2024-91-08-60-74
Malakhova K.Y., Shelepin K.Y., Shelepin Yu.E. Detection and recognition under interference conditions [in Russian] // Opticheskii Zhurnal. 2024. V. 91. № 8. P. 60–74. http://doi.org/10.17586/1023-5086-2024-91-08-60-74
Предмет исследования. Механизмы помехоустойчивого зрительного восприятия человека и их моделирование с использованием генеративных нейросетевых моделей. Цель работы. Анализ механизмов распознавания зрительных сигналов человеком в условиях помех и ограничений, вносимых внутренними шумами, и разработка эффективных вычислительных технологий, реализующих эвристические принципы работы зрительной системы. Метод. Анализ психофизических и нейрофизиологических данных по оценке эффективности восприятия, характеристик внутреннего шума, процессов реконструкции образов. Компьютерное моделирование механизмов восприятия с использованием генеративных нейросетей. Основные результаты. Представлен анализ проведённых исследований порогов зрительного восприятия в условиях помехи. Установлены характеристики внутреннего шума, как эквивалентного. Показано, что эффективность зрительного восприятия определяется ограничениями, накладываемыми внутренним шумом и внешними условиями неопределённости. Снижение эффективности восприятия отражает нарушения обработки информации при сенсорной и когнитивной патологии. Показано, что при помощи генеративных нейросетевых моделей возможно провести моделирование ключевых феноменов восприятия в условиях помех. Практическая значимость. Разработанные вычислительные модели открывают возможности для исследования механизмов помехоустойчивого восприятия и дифференциальной диагностики нарушений обработки информации в зрительной системе.
изображение, зрительный сигнал, помеха, внутренний шум, механизмы восприятия, генеративные нейронные сети
Благодарность:работа поддержана грантом на создание и развитие НЦМУ «Павловский центр «Интегративная физиология — медицине, высокотехнологичному здравоохранению и технологиям стрессоустойчивости» и при финансовой поддержке Минобрнауки РФ (№ 075-15-2022-303 от 21.04.2022 г.)
Коды OCIS: 100.4996, 330.2210, 330.6110
Список источников:1. Вавилов С.И., Тимофеева Т.В. Визуальные измерения квантовых флуктуаций // Журн. экспер. и теорет. физики. 1942. Т. 12. Вып. 3–4. С. 109–116.
2. Вавилов С.И. Экспериментальные исследования световых квантовых флуктуаций визуальным методом // Усп. физ. наук. 1948. Ноябрь. Т. 36. С. 247–283.
3. Луизов А.В. Квантовые флуктуации света и зрение // Природа. 1951. Т. 7. № 1. С. 12–24.
4. Barlow H.B. Retinal noise and absolute threshold // J. Opt. Soc. Am. 1956. V. 46. P. 634–639.
5. Barlow H.B. Possible principles underlying the transformations of sensory messages // Sensory Communication / Ed. Rosenblith W.A. P. 217–234. MIT Press, 1961. (Барлоу Г. Возможные принципы преобразования сенсорных сообщений // Теория связи в сенсорных системах. М. 1964).
6. Pelli D.G., Farell B. Why use noise? J. Opt. Soc. Am. A. 1999. V. 16 (3). P. 647–53. https://doi.org/ 10.1364/ josaa.16.000647
7. Sörensen L.K.A., Bohté S.M., de Jong D., Slagter H.A., Scholte H.S. Mechanisms of human dynamic object recognition revealed by sequential deep neural networks // PLoS Comput Biol. 2023. V. 19(6). P. e1011169. https://doi.org/ 10.1371/journal.pcbi.1011169. PMID: 37294830
8. Jang H., McCormack D., Tong F. Noise-trained deep neural networks effectively predict human vision and its neural responses to challenging images // PLoS Biol. 2021. V. 19(12). P. e3001418. https://doi.org/10.1371/journal.pbio.3001418
9. Maass W. Noise as a resource for computation and learning in networks of spiking neurons // Proceedings of the IEEE. 2014. V. 102. № 5. P. 860–880. https://doi.org/10.1109/jproc.2014.2310593
10. Шелепин Ю.Е., Луцив В.Р., Коротаев В.В. Оптические технологии и зрительная картина мира: иконика и нейроиконика // Оптический журнал. 2022. Т. 89. № 8. С. 3–7. https://doi.org/ 10.17586/1023-5086-2022-89-08-03-07
11. Говардовский В.И. Собственный шум, пороговая чувствительность и адаптация сетчатки // Сенсорные системы, нейрофизиологические и биофизические исследования / Л: «Наука», 1978.
12. Фирсов M., Говардовский В.И. Световая адаптация фоторецепторов: смысл и механизмы // Сенсорные системы. 2001. Т. 15. № 2. С. 102–115.
13. Тибилов А.С., Шелепин Ю.Е. Сравнение результатов психофизических и физиологических исследований порога зрительного восприятия // Сенсорные системы. 2013. Т. 27. № 3. С. 271–276.
14. Тибилов А.С., Васильев В.Н. Формирование сигнала биполяра палочек при малых освещённостях // Оптический журнал. 2020. Т. 87. № 12. С. 76–84. https:// doi.org/:10.17586/1023-5086-2020-87-12-76-84
15. Васильев В.Н., Тибилов А.С., Шелепин Ю.Е. Подавление непрерывных шумов фоторецепторов — палочек под действием отрицательной обратной связи, формируемой горизонтальной клеткой // Оптический журнал. 2020. Т. 87. № 6. С. 24–33. http://doi.org/10.17586/1023-5086-2020-87-06-24-33
16. Ala-Laurila P., Rieke F. Coincidence detection of single-photon responses in the inner retina at the sensitivity limit of vision // Current Biology. 2014. V. 24. № 24. P. 2888–2898. https://doi.org/10.1016/j.cub. 2014.10.028
17. Sharpe L., Stockman A. Dual rod pathways // From Pigments to Perception / Ed. Valberg A., Lee B. NY: Plenum Press, 1991. P. 53–66.
18. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И. Моделирование механизма быстрой адаптации зрительной системы к изменению освещенности наблюдаемой сцены // Оптический журнал. 2003. Т. 70. № 6. С. 33–38. Krasilnikov N.N., Krasilnikova O.I. Modelling the mechanism of rapid adaptation of the visual system to variation of the illuminance of an observed scene // Journal of Optical Technology. 2003. V. 70. № 6. P. 415–419. https://doi.org/10.1364/JOT.70.000415
19. Williams D. The cost of trichromacy for spatial vision // From Pigments to Perception / Ed. Valberg A., Lee B. NY: Plenum Press, 1991. P. 11–22. https://color2. psych.upenn.edu/brainard/papers/cost.pdf
20. Wandel B. Foundation of vision. Stanford university: Published by Sinauer Associates, 1995. https://foundationsofvision.stanford.edu/
21. Кемпбелл Ф., Шелепин Ю.Е. Возможности фовеолы в различении объектов // Сенсорные системы. 1990. Т. 4. № 2. С. 181–185.
22. Шелепин Ю.Е., Бондарко В.М. Разрешающая способность и дискретизация изображений в зрительной системе // Российский физиологический журнал им. И.М. Сеченова. 2004. Т. 34(2). С. 147–57. https://doi.org/ 10.1023/b: neab.0000009209.91112.59
23. Красильников Н.Н. Теория передачи и восприятия изображений. М.: Радио и связь, 1986. 247 с.
24. Вахрамеева О.А., Сухинин М.В., Моисеенко Г.А., Муравьева С.В., Пронин С.В., Волков В.В., Шелепин Ю.Е. Изучение порогов восприятия в зависимости от геометрии фовеа // Сенсорные системы. 2013. Т. 27. № 2. С. 122–129.
25. Муравьева С.В., Вахрамеева О.А., Пронин С.В., Шелепин Ю.Е. Сравнение монокулярной и бинокулярной остроты зрения в условиях помехи // Оптический журнал. 2015. Т. 82. № 10. С. 23–28. Murav’eva S.V., Vakhrameeva O.A., Pronin S.V., Shelepin Yu.E. Comparing monocular and binocular visual acuity under noisy conditions // Journal of Optical Technology. 2015. V. 82. № 10. P. 663–666. https://doi.org/10.1364/JOT.82.000663
26. Barlow H.B. Measurements of the quantum efficiency of discrimination in human scotopic vision // J Physiol. 1962. V. 160 (1). P. 169–188.
27. Burges A.E., Wagner R.F., Barlow H.B. Efficiency of human visual signal discrimination // Science. 1981. V. 214. V. 93–94. 28. Красильников Н.Н., Шелепин Ю.Е. Частотно-контрастная характеристика зрительной системы при наличии помех // Физиология человека. 1996. T. 22. № 4. C. 33–38.
29. Красильников Н.Н., Шелепин Ю.Е. Функциональная модель зрения // Оптический журнал. 1997. T. 64. № 2. C. 72–82.
30. Krasilnikov N.N., Shelepin Y.E. Psychophysical measurements of the spatial-frequency spectrum of internal noise in the human visual system // Perception. 1998. V. 27. P. 73. https://doi.org/10.1117/12.383093
31. Krasilnikov N.N., Krasilnikova O.I., Shelepin Y.E. Perception of achromatic, mono-chromatic, pure chromatic, and chromatic noisy images by real human observer under threshold conditions // Proc SPIE. 2000. V. 3981. P. 78–85. https://doi.org/10.1117/12.383093
32. Шелепин Ю.Е., Хараузов А.К., Красильников Н.Н., Пронин С.В. Электрофизиологические исследования пространственно-частотных характеристик зрения человека в условиях помехи // Физиология человека. 1999. Т. 25. № 1. C. 33–43.
33. Хараузов А.К., Шелепин Ю.Е., Пронин С.В., Красильников Н.Н., Муравьева С.В. Сравнительные электрофизиологические и психофизические измерения пространственной зрительной системы в условиях помехи // Оптический журнал. 1999. Т. 66. № 10. С. 46–51. Kharauzov A.K., Shelepin Yu.E., Pronin S.V., Murav'eva S.V., Krasil'nikov N.N. Comparative electrophysiological and psychophysical measurements of the spatial-frequency characteristics of the visual system in noisy conditions // Journal of Optical Technology. 1999. V. 66. № 10. P. 881. https://doi.org/10.1364/JOT.66.000881 34. Хараузов А.К., Шелепин Ю.Е., Пронин С.В., Красильников Н.Н., Муравьева С.В. Зрительные вызванные потенциалы на дихоптическое представление синусоидальных решеток и шумового фона // Российский физиологический журнал. 2001. Т. 87. № 2. С. 261–270.
35. Schofield A.I., Georgeson M.A. Effects of noise carrier spectrum on sensitivity to luminance and contrast modulations are different: further evidence for separate mechanisms // Perception. 1998. Aug. V. 39(16). P. 2697-716. https://doi.org/ 10.1016/s0042-6989(98)00284-3
36. Данько Р.Е., Кузнецов А.В., Литвинцев С.В., Малахов Ю.К., Красильников Н.Н., Шелепин Ю.Е. Коэффициент эффективности зрительного восприятия у здоровых наблюдателей и больных неврозами // Оптический журнал. 1999. Т. 66. № 10. С. 896–897. Dan'ko R.E., Kuznetsov A.V., Litvintsev S.V., Malakhov Yu.K., Krasilnikov N.N., Shelepin Yu.E. Efficiency of visual perception in healthy observers and in patients with neuroses // Journal of Optical Technology. 1999. V. 66. № 10. P. 896. •https://doi.org/10.1364/JOT.66.000896
37. Дешкович А.А., Шелепин Ю.Е. Измерение уровня внутреннего шума зрительной системы при ее поражениях (новый метод в нейроофтальмологии) // Боевые повреждения органа зрения / Изд. Главного военно-медицинского управления МО РФ и Военномедицинской академии. 2000. С. 84–85.
38. Дешкович А.А., Красильников Н.Н., Одинак М.М., Пронин С.В., Шелепин Ю.Е. Внутренний шум зрительной системы — как мера функционального состояния мозга человека // Современные подходы к диагностике и лечению нервных и психических заболеваний / Изд. Главного военно-медицинского управления МО РФ. 2000. С. 509–510.
39. Шелепин Ю.Е., Чихман В.Н., Фореман Н. Анализ исследований восприятия фрагментированных изображений — целостное восприятие и восприятие по информативным признакам // Российский физиологический журнал. 2008. Т. 94. Вып. 7. С. 758–776.
40. Шелепин Ю.Е. Нейроиконика. СПб: «Троицкий мост», 2017. 351 с.
41. Шелепин К.Ю., Пронин С.В., Шелепин Ю.Е. Распознавание фрагментированных изображений и возникновение “инсайта” // Оптический журнал. 2015. Т. 82. № 10. С. 70–78. Shelepin K.Yu., Pronin S.V., Shelepin Yu.E. Recognizing fragmented images and the appearance of “insight” // Journal of Optical Tecnology. 2015. V. 82. № 10. P. 700–706. https://doi.org/10.1364/JOT.82.000700
42. Gardner J.L. Optimality and heuristics in perceptual neuroscience // Nature Neuroscience. 2019. V. 22(4). P. 514–523. https://doi.org/10.1038/s41593-019-0340-4
43. Rombach R., Blattmann A., Lorenz D., Esser P., Ommer B. High-resolution image synthesis with latent diffusion models // Conference on Computer Vision and Pattern Recognition (CVPR). 2022. Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany https://github.com/CompVis/latent-diffusion https://doi.org/10.1109/cvpr52688.2022.01042
44. Nam Y., Sato T., Uchida G., Malakhova E., Ullman S., Tanifuji M. View-tuned and view-invariant face encoding in IT cortex is explained by selected natural image fragments // Nature. Scientific Reports. 2021. № 11. P. 7827. https://doi.org/10.1038/s41598-021-86842-7
45. Малахова Е.Ю. Пространство описания зрительной сцены в искусственных и биологических нейронных сетях // Оптический журнал. 2020. Т. 87. № 10. С. 50–58. Malakhova E.Yu. Information representation space in artificial and biological neural networks // Journal of Optical Technology. 2020. V. 87. № 10. P. 598–603. https://doi.org/10.1364/JOT.87.000598
46. Малахова Е.Ю. Представление категорий посредством прототипов согласованной активности нейронов в свёрточных нейронных сетях // Оптический журнал. 2021. Т. 88. № 12. С. 36–41. https://doi.org/10.17586/1023-5086-2021-88-12-36-41 Malakhova E.Yu. Representation of categories through prototypes formed based on coordinated activity of units in convolutional neural networks // Journal of Optical Technology. 2021. V. 88. № 12. P. 706–709. https://doi.org/10.1364/JOT.88.000706
47. Малахова Е.Ю. Визуализация информации, кодируемой нейронами высших областей зрительной системы // Оптический журнал. 2018. Т. 85. № 8. C. 61–66. https://doi.org/10.17586/1023-5086-2018-85-08-61-66
Malakhova E.Yu. Visualization of information encoded by neurons in the higher-level areas of the visual system // Journal of Optical Technology. 2018. V. 85. № 8. P. 494–498. https://doi.org/10.1364/JOT.85.000494
48. Malakhova E. Diffusion probabilistic models for incomplete pattern recognition // 7th International Conference «Video and Audio Signal Processing in the Context of Neurotechnologies» SPCN-2022.
49. Yamins D., DiCarlo J. Using goal-driven deep learning models to understand sensory cortex // Nat Neurosci. 2016. V. 19. P. 356–365. https://doi.org/ 10.1038/nn.4244
50. Wang Z., Bovik A.C., Sheikh H., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. 2004. V. 13(4). P. 600–612.
51. Gleick J. Chaos. Making a new science. Penguin Books. NY, London, Middlesex, England: Viking Penguin Inc., Penguin Books Ltd, 1987.
52. Ma G., Yan R., Tang H. Exploiting noise as a resource for computation and learning in spiking neural networks // Patterns (NY). 2023. V. 4(10). V. 100831. https://doi.org/ 10.1016/j.patter.2023.100831
53. Mobaien A., Boostani R., Sanei S. Improving the performance of P300-based BCIs by mitigating the effects of stimuli-related evoked potentials through regularized spatial filtering // J Neural Eng. 2024. Feb 27. V. 21 (1). https://doi.org/ 10.1088/1741-2552/ad2495