УДК: 004.931'1, 004.93'14

Извлечение информации об иерархии объектов из обученных нейронных сетей глубокого обучения с помощью анализа матрицы неточностей

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Малашин Р.О. Извлечение информации об иерархии объектов из обученных нейронных сетей глубокого обучения с помощью анализа матрицы неточностей // Оптический журнал. 2016. Т. 83. № 10. С. 24–30.

Malashin R.O. Extraction of object hierarchy data from trained deep-learning neural networks via analysis of the confusion matrix [in Russian] // Opticheskii Zhurnal. 2016. V. 83. № 10. P. 24–30.

Ссылка на англоязычную версию:

R. O. Malashin, "Extraction of object hierarchy data from trained deep-learning neural networks via analysis of the confusion matrix," Journal of Optical Technology. 83(10), 599-603 (2016). https://doi.org/10.1364/JOT.83.000599

Аннотация:

Была исследована возможность извлечения информации об иерархии объектов из обученной нейронной сети посредством анализа ошибок на тестовой выборке. Для этого был использован подход, основанный на сингулярном разложении матрицы неточностей. Эксперименты показали, что исследуемые методы позволяют получить интуитивно понятное разбиение классов на кластеры. Кроме того, показано, что возможно уменьшение количества связей в полносвязных слоях свёрточных нейронных сетей без снижения точности распознавания тестовой выборки за счёт использования локально связных слоёв. При этом согласно проведённым экспериментам организация этих слоёв согласно полученной иерархии объектов не приводит к улучшению результатов.

Ключевые слова:

свёрточные нейронные сети, кластеризация, распознавание изображений

Благодарность:

Работа выполнена при поддержке Министерства образования и науки Российской Федерации и частично при государственной поддержке ведущих университетов Российской Федерации (субсидия 074-U01).

Коды OCIS: 100.4996

Список источников:

1. Malashin R., Kadykov A. Investigation of the generalizing capabilities of convolutional neural networks in forming rotation-invariant attributes // Journal of Optical Technology. 2015. V. 82. №. 8. P. 509–515.
2. Potapov A., Batishcheva V., Peterson M. Limited generalization capabilities of autoencoders with logistic regression on training sets of small sizes // IFIP Advances in Information and Communication Technology. N.Y.: Springer, 2014. V. 436 (AIAI 2014). P. 256–264.
3. Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg L., Fei-Fei L. ImageNet large scale visual recognition challenge // International Journal of Computer Vision (IJCV). 2015. April. P. 1–42.
4. Learning Multiple Layers of Features from Tiny Images [tech report]. URL: http://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf (accessed 15.03.2016).

5. Малашин Р., Луцив В., Кадыков А., Деготинский Н. Ускоренная индексация изображений на основе их содержания // Альманах научных работ молодых ученых XLIII научной и учебно-методической конференции Университета ИТМО. 2014. С. 264–266.
6. Everingham M., Van Gool L., Williams C. The Pascal visual object classes (VOC) challenge // International Journal of Computer Vision. 2010. V. 88. № 2. P. 303–338.
7. Felzenszwalb P., Girshick R., McAllester D., Ramanan D. Visual object detection with deformable part models // Communications of the ACM. 2013. V. 59. № 9. P. 97–105.
8. Felzenszwalb P., Girshick R., McAllester D., Ramanan D. Object detection with discriminatively trained partbased models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. V. 32. № 9. P.1627–1645.
9. Saxe A., Mcclelland J., Ganguli S. Learning hierarchical category structure in deep neural networks // Proc. of the Cognitive Science Society. 2013. July 31 – August 3. Berlin. Germany. P. 1271–1276.
10. Krizhevsky A., Sutskever I., Hinton E.G. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. V. 2. 2012. P. 1097–1105.
11. Ba L., Caruana R. Do deep nets really need to be deep? // Advances in NIPS 2014. V. 3. 2014. P. 2654–2662.
12. Caffe. Deep learning framework by the BVLC [official website]. URL: http://caffe.berkeleyvision.org/ (accessed 14.04. 2016).