Представление категорий посредством прототипов согласованной активности нейронов в свёрточных нейронных сетях

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Малахова Е.Ю. Представление категорий посредством прототипов согласованной активности нейронов в свёрточных нейронных сетях // Оптический журнал. 2021. Т. 88. № 12. С. 36–41. http://doi.org/10.17586/1023-5086-2021-88-12-36-41

Malakhova E.Yu. Representation of categories through prototypes formed based on coordinated activity of units in convolutional neural networks [in Russian] // Opticheskii Zhurnal. 2021. V. 88. № 12. P. 36–41. http://doi.org/10.17586/1023-5086-2021-88-12-36-41

Ссылка на англоязычную версию:

E. Yu. Malakhova, "Representation of categories through prototypes formed based on coordinated activity of units in convolutional neural networks," Journal of Optical Technology. 88(12), 706-709 (2021). https://doi.org/10.1364/JOT.88.000706

Аннотация:

Понимание, каким образом отдельное изображение либо категория объектов кодируются в искусственных нейронных сетях, является важным направлением как в области компьютерного зрения, так и для нейронаук. Широко распространен подход, при котором считается, что один скрытый нейрон может детектировать категорию или её доминирующий признак. В данной работе показано, что кодирование осуществляется при помощи коллективной активности нейронов и в обработке большинства категорий участвует до 93% нейронов слоя. Предложен подход к представлению категории посредством построения прототипа, сформированного как матрица ковариации активации нейронов слоя. Подход позволяет учитывать согласованный ответ популяции искусственных нейронов, а также сложность распределённого паттерна активации на различных этапах обработки, начиная с низкоуровневой статистики изображения и до уровня абстрактных и семантических признаков.

Ключевые слова:

свёрточные нейронные сети, представление информации, интерпретируемое глубокое обучение, модель зрительной системы

Коды OCIS: 200.4260, 330.4060

Список источников:

1. Erhan D., Bengio Y., Courville A., Vincent P. Visualizing higher-layer features of a deep network // University of Montreal Press. 2009. V. 1341. P. 3.
2. Simonyan K., Vedaldi A., Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps. arXiv preprint arXiv:1312.6034. 2013.
3. Zeiler M.D., Fergus R. Visualizing and understanding convolutional networks // Proceedings of the European conference on computer vision. Zurich, Switzerland. September 6–12. 2014. P. 818–833.
4. Mahendran A., Vedaldi A. Understanding deep image representations by inverting them // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 5188–5196.
5. Nguyen A., Yosinski J., Clune J. Multifaceted feature visualization: Uncovering the different types of features learned by each neuron in deep neural networks. arXiv preprint arXiv:1602.03616. 2016.
6. Bau D., Zhou B., Khosla A., Oliva A., Torralba A. Network dissection: Quantifying interpretability of deep visual representations // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI. USA. July 21–26. 2017. P. 3319–3327.
7. Kågebäck M., Mogren O. Disentanglement by penalizing correlation // Proceedings of the NIPS Workshop on Learning Disentangled Features. Long Beach, CA, USA. Dec 9. 2017. P. E1–8.

8. Higgins I., Amos D., Pfau D., Racaniere S., Matthey L., Rezende D., Lerchner A. Towards a definition of disentangled representations. arXiv preprint arXiv:1812.02230. 2018.
9. Dosovitskiy A., Brox T. Generating images with perceptual similarity metrics based on deep networks // In Proceedings of the 30th International Conference on Neural Information Processing Systems (NIPS’16). Barcelona, Spain. Dec 5–10. 2016. P. 658–666.
10. Gao F., Wang Y., Li P., Tan M., Yu J., Zhu Y. Deepsim: Deep similarity for image quality assessment // Neurocomputing. 2017. V. 257. P. 104–114.
11. Gatys L.A., Ecker A.S., Bethge M. Image style transfer using convolutional neural networks // Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas, NV, USA. June 26 — July 1. 2016. P. 2414–2423.
12. Kruger N., Janssen P., Kalkan S., Lappe M., Leonardis A., Piater J., Rodriguez-Sanchez A.J., Wiskott L. Deep hierarchies in the primate visual cortex: What can we learn for computer vision? // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2013. V. 35. P. 1847–1871.
13. Cadieu C.F., Hong H., Yamins D.L.K., Pinto N., Ardila D., Solomon E.A., Majaj N.J., DiCarlo J.J. Deep neural networks rival the representation of primate IT cortex for core visual object recognition // PLoS Computational Biology. 2014. V. 10. P. 12.
14. Малахова Е.Ю. Пространство описания зрительной сцены в искусственных и биологических нейронных сетях // Оптический журнал. 2020. № 10. С. 50–58.
15. Глезер В.Д., Цукерман И.И. Информация и зрение. АН СССР: М-Л. 1961. C. 183.
16. Шелепин Ю.Е. Ориентационная избирательность и пространственно-частотные характеристики рецептивных полей нейронов затылочной коры кошки // Нейрофизиология. 1981. Т. 13 (3). С. 227–232.
17. Campbell F.W., Robson J.G. Application of fourier analysis to the visibility of gratings // The Journal of Physiology. 1968. V. 197(3). P. 551–566.
18. Field D.J. What the statistics of natural images tell us about visual coding // Human Vision, Visual Processing, and Digital Display. 1989. V. 1077. P. 269–276.
19. Vinje W.E., Gallant J.L. Sparse coding and decorrelation in primary visual cortex during natural vision // Science. 2000. V. 287(5456). P. 1273–1276.
20. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556. 2014.
21. Deng J., Dong W., Socher R., Li L.J., Li K., Fei-Fei L. Imagenet: A large-scale hierarchical image database // Proceedings IEEE conference on computer vision and pattern recognition. Miami Beach, FL, USA. June 20–21. 2009. P. 248–255.
22. Fix E., Hodges J.L. Discriminatory analysis. Nonparametric discrimination: Consistency properties // International Statistical Review. 1989. V. 57(3). P. 238–247.