ITMO
ru/ ru

ISSN: 1023-5086

ru/

ISSN: 1023-5086

Scientific and technical

Opticheskii Zhurnal

A full-text English translation of the journal is published by Optica Publishing Group under the title “Journal of Optical Technology”

Article submission Подать статью
Больше информации Back

DOI: 10.17586/1023-5086-2024-91-08-60-74

УДК: 612.8; 621.397.3; 004.032.26; 004.93; 004.81

Detection and recognition under interference conditions

For Russian citation (Opticheskii Zhurnal):

Малахова К.Ю., Шелепин К.Ю., Шелепин Ю.Е. Обнаружение и распознавание изображений в условиях помехи // Оптический журнал. 2024. Т. 91. № 8. С. 60–74. http://doi.org/10.17586/1023-5086-2024-91-08-60-74

 

 Malakhova K.Y., Shelepin K.Y., Shelepin Yu.E. Detection and recognition under interference conditions [in Russian] // Opticheskii Zhurnal. 2024. V. 91. № 8. P. 60–74. http://doi.org/10.17586/1023-5086-2024-91-08-60-74

For citation (Journal of Optical Technology):
-
Abstract:

Subject of study. Mechanisms of noise-resistant visual perception in humans and their modeling using generative neural networks. Aim of study. Analysis of the mechanisms of human recognition of visual signals under conditions of interference and limitations introduced by internal noise, and the development of effective computing technologies that implement heuristic principles of the visual system. Methods. Analysis of psychophysical and neurophysiological data on perception efficiency, internal noise, and image reconstruction. Computer modeling of perception mechanisms using generative neural networks. Main results. The paper presents an analysis of the performed studies on visual perception thresholds in the presence of noise. The properties of internal noise, as an equivalent, have been determined. The study reveals that visual perception efficiency is determined by limitations
imposed by internal noise and external uncertainty. Reduced efficiency indicates information processing disorders in sensory and cognitive pathology. The research shows that generative neural network models enable the modeling of crucial perceptual phenomena in noisy environments. Practical significance. The developed computational models enable research into noise-resistant perception mechanisms and differential diagnosis of visual information processing disorders.

Keywords:

image, visual signal, noise, internal noise, perception mechanisms, generative neural networks

Acknowledgements:

this research was funded by the Ministry of Science and Higher Education of the Russian Federation under the agreement № 075-15-2022-303 to support the development of a Worldclass research center “Pavlov Center for Integrative Physiology for Medicine, High-tech Healthcare, and Stress Tolerance Technologies”.

OCIS codes: 100.4996, 330.2210, 330.6110

References:

1. Вавилов С.И., Тимофеева Т.В. Визуальные измерения квантовых флуктуаций // Журн. экспер. и теорет. физики. 1942. Т. 12. Вып. 3–4. С. 109–116.
2. Вавилов С.И. Экспериментальные исследования световых квантовых флуктуаций визуальным методом // Усп. физ. наук. 1948. Ноябрь. Т. 36. С. 247–283.
3. Луизов А.В. Квантовые флуктуации света и зрение // Природа. 1951. Т. 7. № 1. С. 12–24.
4. Barlow H.B. Retinal noise and absolute threshold // J. Opt. Soc. Am. 1956. V. 46. P. 634–639.
5. Barlow H.B. Possible principles underlying the transformations of sensory messages // Sensory Communication / Ed. Rosenblith W.A. P. 217–234. MIT Press, 1961. (Барлоу Г. Возможные принципы преобразования сенсорных сообщений // Теория связи в сенсорных системах. М. 1964).
6. Pelli D.G., Farell B. Why use noise? J. Opt. Soc. Am. A. 1999. V. 16 (3). P. 647–53. https://doi.org/ 10.1364/ josaa.16.000647
7. Sörensen L.K.A., Bohté S.M., de Jong D., Slagter H.A., Scholte H.S. Mechanisms of human dynamic object recognition revealed by sequential deep neural networks // PLoS Comput Biol. 2023. V. 19(6). P. e1011169. https://doi.org/ 10.1371/journal.pcbi.1011169. PMID: 37294830
8. Jang H., McCormack D., Tong F. Noise-trained deep neural networks effectively predict human vision and its neural responses to challenging images // PLoS Biol. 2021. V. 19(12). P. e3001418. https://doi.org/10.1371/journal.pbio.3001418
9. Maass W. Noise as a resource for computation and learning in networks of spiking neurons // Proceedings of the IEEE. 2014. V. 102. № 5. P. 860–880. https://doi.org/10.1109/jproc.2014.2310593
10. Шелепин Ю.Е., Луцив В.Р., Коротаев В.В. Оптические технологии и зрительная картина мира: иконика и нейроиконика // Оптический журнал. 2022. Т. 89. № 8. С. 3–7. https://doi.org/ 10.17586/1023-5086-2022-89-08-03-07
11. Говардовский В.И. Собственный шум, пороговая чувствительность и адаптация сетчатки // Сенсорные системы, нейрофизиологические и биофизические исследования / Л: «Наука», 1978.
12. Фирсов M., Говардовский В.И. Световая адаптация фоторецепторов: смысл и механизмы // Сенсорные системы. 2001. Т. 15. № 2. С. 102–115.
13. Тибилов А.С., Шелепин Ю.Е. Сравнение результатов психофизических и физиологических исследований порога зрительного восприятия // Сенсорные системы. 2013. Т. 27. № 3. С. 271–276.
14. Тибилов А.С., Васильев В.Н. Формирование сигнала биполяра палочек при малых освещённостях // Оптический журнал. 2020. Т. 87. № 12. С. 76–84. https:// doi.org/:10.17586/1023-5086-2020-87-12-76-84
15. Васильев В.Н., Тибилов А.С., Шелепин Ю.Е. Подавление непрерывных шумов фоторецепторов — палочек под действием отрицательной обратной связи, формируемой горизонтальной клеткой // Оптический журнал. 2020. Т. 87. № 6. С. 24–33. http://doi.org/10.17586/1023-5086-2020-87-06-24-33
16. Ala-Laurila P., Rieke F. Coincidence detection of single-photon responses in the inner retina at the sensitivity limit of vision // Current Biology. 2014. V. 24. № 24. P. 2888–2898. https://doi.org/10.1016/j.cub. 2014.10.028
17. Sharpe L., Stockman A. Dual rod pathways // From Pigments to Perception / Ed. Valberg A., Lee B. NY: Plenum Press, 1991. P. 53–66.
18. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И. Моделирование механизма быстрой адаптации зрительной системы к изменению освещенности наблюдаемой сцены // Оптический журнал. 2003. Т. 70. № 6. С. 33–38.  Krasilnikov N.N., Krasilnikova O.I. Modelling the mechanism of rapid adaptation of the visual system to
variation of the illuminance of an observed scene // Journal of Optical Technology. 2003. V. 70. № 6. P. 415–419. https://doi.org/10.1364/JOT.70.000415
19. Williams D. The cost of trichromacy for spatial vision // From Pigments to Perception / Ed. Valberg A., Lee B. NY: Plenum Press, 1991. P. 11–22. https://color2. psych.upenn.edu/brainard/papers/cost.pdf
20. Wandel B. Foundation of vision. Stanford university: Published by Sinauer Associates, 1995. https://foundationsofvision.stanford.edu/
21. Кемпбелл Ф., Шелепин Ю.Е. Возможности фовеолы в различении объектов // Сенсорные системы. 1990. Т. 4. № 2. С. 181–185.
22. Шелепин Ю.Е., Бондарко В.М. Разрешающая способность и дискретизация изображений в зрительной системе // Российский физиологический журнал им. И.М. Сеченова. 2004. Т. 34(2). С. 147–57. https://doi.org/ 10.1023/b: neab.0000009209.91112.59
23. Красильников Н.Н. Теория передачи и восприятия изображений. М.: Радио и связь, 1986. 247 с.
24. Вахрамеева О.А., Сухинин М.В., Моисеенко Г.А., Муравьева С.В., Пронин С.В., Волков В.В., Шелепин Ю.Е. Изучение порогов восприятия в зависимости от геометрии фовеа // Сенсорные системы. 2013. Т. 27. № 2. С. 122–129.
25. Муравьева С.В., Вахрамеева О.А., Пронин С.В., Шелепин Ю.Е. Сравнение монокулярной и бинокулярной остроты зрения в условиях помехи // Оптический журнал. 2015. Т. 82. № 10. С. 23–28.  Murav’eva S.V., Vakhrameeva O.A., Pronin S.V., Shelepin Yu.E. Comparing monocular and binocular visual acuity under noisy conditions // Journal of Optical Technology. 2015. V. 82. № 10. P. 663–666. https://doi.org/10.1364/JOT.82.000663
26. Barlow H.B. Measurements of the quantum efficiency of discrimination in human scotopic vision // J Physiol. 1962. V. 160 (1). P. 169–188.
27. Burges A.E., Wagner R.F., Barlow H.B. Efficiency of human visual signal discrimination // Science. 1981. V. 214. V. 93–94.
28. Красильников Н.Н., Шелепин Ю.Е. Частотно-контрастная характеристика зрительной системы при наличии помех // Физиология человека. 1996. T. 22. № 4. C. 33–38.
29. Красильников Н.Н., Шелепин Ю.Е. Функциональная модель зрения // Оптический журнал. 1997. T. 64. № 2. C. 72–82.
30. Krasilnikov N.N., Shelepin Y.E. Psychophysical measurements of the spatial-frequency spectrum of internal noise in the human visual system // Perception. 1998. V. 27. P. 73. https://doi.org/10.1117/12.383093
31. Krasilnikov N.N., Krasilnikova O.I., Shelepin Y.E. Perception of achromatic, mono-chromatic, pure chromatic, and chromatic noisy images by real human observer under threshold conditions // Proc SPIE. 2000. V. 3981. P. 78–85. https://doi.org/10.1117/12.383093
32. Шелепин Ю.Е., Хараузов А.К., Красильников Н.Н., Пронин С.В. Электрофизиологические исследования пространственно-частотных характеристик зрения человека в условиях помехи // Физиология человека. 1999. Т. 25. № 1. C. 33–43.
33. Хараузов А.К., Шелепин Ю.Е., Пронин С.В., Красильников Н.Н., Муравьева С.В. Сравнительные электрофизиологические и психофизические измерения пространственной зрительной системы в условиях помехи // Оптический журнал. 1999. Т. 66. № 10. С. 46–51.  Kharauzov A.K., Shelepin Yu.E., Pronin S.V., Murav'eva S.V., Krasil'nikov N.N. Comparative electrophysiological and psychophysical measurements of the spatial-frequency characteristics of the visual system in noisy conditions // Journal of Optical Technology. 1999. V. 66. № 10. P. 881. https://doi.org/10.1364/JOT.66.000881
34. Хараузов А.К., Шелепин Ю.Е., Пронин С.В., Красильников Н.Н., Муравьева С.В. Зрительные вызванные потенциалы на дихоптическое представление синусоидальных решеток и шумового фона // Российский физиологический журнал. 2001. Т. 87. № 2. С. 261–270.
35. Schofield A.I., Georgeson M.A. Effects of noise carrier spectrum on sensitivity to luminance and contrast modulations are different: further evidence for separate mechanisms // Perception. 1998. Aug. V. 39(16). P. 2697-716. https://doi.org/ 10.1016/s0042-6989(98)00284-3
36. Данько Р.Е., Кузнецов А.В., Литвинцев С.В., Малахов Ю.К., Красильников Н.Н., Шелепин Ю.Е. Коэффициент эффективности зрительного восприятия у здоровых наблюдателей и больных неврозами // Оптический журнал. 1999. Т. 66. № 10. С. 896–897.  Dan'ko R.E., Kuznetsov A.V., Litvintsev S.V., Malakhov Yu.K., Krasilnikov N.N., Shelepin Yu.E. Efficiency of visual perception in healthy observers and in patients with neuroses // Journal of Optical Technology. 1999. V. 66. № 10. P. 896. •https://doi.org/10.1364/JOT.66.000896
37. Дешкович А.А., Шелепин Ю.Е. Измерение уровня внутреннего шума зрительной системы при ее поражениях (новый метод в нейроофтальмологии) // Боевые повреждения органа зрения / Изд. Главного военно-медицинского управления МО РФ и Военномедицинской академии. 2000. С. 84–85.
38. Дешкович А.А., Красильников Н.Н., Одинак М.М., Пронин С.В., Шелепин Ю.Е. Внутренний шум зрительной системы — как мера функционального состояния мозга человека // Современные подходы к диагностике и лечению нервных и психических заболеваний / Изд. Главного военно-медицинского управления МО РФ. 2000. С. 509–510.
39. Шелепин Ю.Е., Чихман В.Н., Фореман Н. Анализ исследований восприятия фрагментированных изображений — целостное восприятие и восприятие по информативным признакам // Российский физиологический журнал. 2008. Т. 94. Вып. 7. С. 758–776.
40. Шелепин Ю.Е. Нейроиконика. СПб: «Троицкий мост», 2017. 351 с.
41. Шелепин К.Ю., Пронин С.В., Шелепин Ю.Е. Распознавание фрагментированных изображений и возникновение “инсайта” // Оптический журнал. 2015. Т. 82. № 10. С. 70–78.  Shelepin K.Yu., Pronin S.V., Shelepin Yu.E. Recognizing fragmented images and the appearance of “insight” // Journal of Optical Tecnology. 2015. V. 82. № 10. P. 700–706. https://doi.org/10.1364/JOT.82.000700
42. Gardner J.L. Optimality and heuristics in perceptual neuroscience // Nature Neuroscience. 2019. V. 22(4). P. 514–523. https://doi.org/10.1038/s41593-019-0340-4
43. Rombach R., Blattmann A., Lorenz D., Esser P., Ommer B. High-resolution image synthesis with latent diffusion models // Conference on Computer Vision and Pattern Recognition (CVPR). 2022. Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany https://github.com/CompVis/latent-diffusion https://doi.org/10.1109/cvpr52688.2022.01042
44. Nam Y., Sato T., Uchida G., Malakhova E., Ullman S., Tanifuji M. View-tuned and view-invariant face encoding in IT cortex is explained by selected natural image fragments // Nature. Scientific Reports. 2021. № 11. P. 7827. https://doi.org/10.1038/s41598-021-86842-7
45. Малахова Е.Ю. Пространство описания зрительной сцены в искусственных и биологических нейронных сетях // Оптический журнал. 2020. Т. 87. № 10. С. 50–58.  Malakhova E.Yu. Information representation space in artificial and biological neural networks // Journal of Optical Technology. 2020. V. 87. № 10. P. 598–603. https://doi.org/10.1364/JOT.87.000598

46. Малахова Е.Ю. Представление категорий посредством прототипов согласованной активности нейронов в свёрточных нейронных сетях // Оптический журнал. 2021. Т. 88. № 12. С. 36–41. https://doi.org/10.17586/1023-5086-2021-88-12-36-41  Malakhova E.Yu. Representation of categories through prototypes formed based on coordinated activity of units in convolutional neural networks // Journal of Optical Technology. 2021. V. 88. № 12. P. 706–709. https://doi.org/10.1364/JOT.88.000706
47. Малахова Е.Ю. Визуализация информации, кодируемой нейронами высших областей зрительной системы // Оптический журнал. 2018. Т. 85. № 8. C. 61–66. https://doi.org/10.17586/1023-5086-2018-85-08-61-66
 Malakhova E.Yu. Visualization of information encoded by neurons in the higher-level areas of the visual system // Journal of Optical Technology. 2018. V. 85. № 8. P. 494–498. https://doi.org/10.1364/JOT.85.000494
48. Malakhova E. Diffusion probabilistic models for incomplete pattern recognition // 7th International Conference «Video and Audio Signal Processing in the Context of Neurotechnologies» SPCN-2022.
49. Yamins D., DiCarlo J. Using goal-driven deep learning models to understand sensory cortex // Nat Neurosci. 2016. V. 19. P. 356–365. https://doi.org/ 10.1038/nn.4244
50. Wang Z., Bovik A.C., Sheikh H., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. 2004. V. 13(4). P. 600–612.
51. Gleick J. Chaos. Making a new science. Penguin Books. NY, London, Middlesex, England: Viking Penguin Inc., Penguin Books Ltd, 1987.
52. Ma G., Yan R., Tang H. Exploiting noise as a resource for computation and learning in spiking neural networks // Patterns (NY). 2023. V. 4(10). V. 100831. https://doi.org/ 10.1016/j.patter.2023.100831
53. Mobaien A., Boostani R., Sanei S. Improving the performance of P300-based BCIs by mitigating the effects of stimuli-related evoked potentials through regularized spatial filtering // J Neural Eng. 2024. Feb 27. V. 21 (1). https://doi.org/ 10.1088/1741-2552/ad2495