Научно-технический
«ОПТИЧЕСКИЙ ЖУРНАЛ»
издается с 1931 года
 
   
Русский вариант сайта Английский вариант сайта
   
       
   
       
Статьи последнего выпуска

Электронные версии
выпусков начиная с 2008


Алфавитный указатель
2000-2010 гг


444
Архив оглавлений
выпусков 2002-2007 гг


Реквизиты и адреса

Вниманию авторов и рецензентов!
- Порядок публикации
- Порядок рецензирования статей
- Типовой договор
- Правила оформления
- Получение авторского вознаграждения


Контакты

Подписка

Карта сайта





Журнал с 19.02.2010 входит в новый «Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук»
Аннотации (10.2016) : ИЗВЛЕЧЕНИЕ ИНФОРМАЦИИ ОБ ИЕРАРХИИ ОБЪЕКТОВ ИЗ ОБУЧЕННЫХ НЕЙРОННЫХ СЕТЕЙ ГЛУБОКОГО ОБУЧЕНИЯ С ПОМОЩЬЮ АНАЛИЗА МАТРИЦЫ НЕТОЧНОСТЕЙ

ИЗВЛЕЧЕНИЕ ИНФОРМАЦИИ ОБ ИЕРАРХИИ ОБЪЕКТОВ ИЗ ОБУЧЕННЫХ НЕЙРОННЫХ СЕТЕЙ ГЛУБОКОГО ОБУЧЕНИЯ С ПОМОЩЬЮ АНАЛИЗА МАТРИЦЫ НЕТОЧНОСТЕЙ

 

© 2016 г.     Р. О. Малашин, канд. техн. наук

Университет ИТМО, Санкт-Петербург

АО “Государственный оптический институт им. С.И. Вавилова”, Санкт-Петербург

Е-mail: malashinroman@mail.ru

Была исследована возможность извлечения информации об иерархии объектов из обученной нейронной сети посредством анализа ошибок на тестовой выборке. Для этого был использован подход, основанный на сингулярном разложении матрицы неточностей. Эксперименты показали, что исследуемые методы позволяют получить интуитивно понятное разбиение классов на кластеры. Кроме того, показано, что возможно уменьшение количества связей в полносвязных слоях свёрточных нейронных сетей без снижения точности распознавания тестовой выборки за счёт использования локально связных слоёв. При этом согласно проведённым экспериментам организация этих слоёв согласно полученной иерархии объектов не приводит к улучшению результатов.

Ключевые слова: свёрточные нейронные сети, кластеризация, распознавание изображений.

Коды OCIS: 100.4996

УДК 004.931'1:004.93'14

Поступила в редакцию 27.04.2016.

ЛИТЕРАТУРА

1.         Malashin R., Kadykov A. Investigation of the generalizing capabilities of convolutional neural networks in forming rotation-invariant attributes // Journal of Optical Technology. 2015. V. 82. №. 8. P. 509–515.

2.         Potapov A., Batishcheva V., Peterson M. Limited generalization capabilities of autoencoders with logistic regression on training sets of small sizes // IFIP Advances in Information and Communication Technology. N.Y.: Springer, 2014. V. 436 (AIAI 2014). P. 256–264.

3.         Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg L., Fei-Fei L. ImageNet large scale visual recognition challenge // International Journal of Computer Vision (IJCV). 2015. April. P. 1–42.

4.        Learning Multiple Layers of Features from Tiny Images [tech report]. URL: http://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf (accessed 15.03.2016).

5.         Малашин Р., Луцив В., Кадыков А., Деготинский Н. Ускоренная индексация изображений на основе их содержания // Альманах научных работ молодых ученых XLIII научной и учебно-методической конференции Университета ИТМО. 2014. С. 264–266.

6.        Everingham M., Van Gool L., Williams C. The Pascal visual object classes (VOC) challenge // International Journal of Computer Vision. 2010. V. 88. № 2. P. 303–338.

7.         Felzenszwalb P., Girshick R., McAllester D., Ramanan D. Visual object detection with deformable part models // Communications of the ACM. 2013. V. 59. № 9. P. 97–105.

8.        Felzenszwalb P., Girshick R., McAllester D., Ramanan D. Object detection with discriminatively trained part-based models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. V. 32. № 9. P.1627–1645.

9.        Saxe A., Mcclelland J., Ganguli S. Learning hierarchical category structure in deep neural networks // Proc. of the Cognitive Science Society. 2013. July 31 – August 3. Berlin. Germany. P. 1271–1276.

10.       Krizhevsky A., Sutskever I., Hinton E.G. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. V. 2. 2012. P. 1097–1105.

11.       Ba L., Caruana R. Do deep nets really need to be deep? // Advances in NIPS 2014. V. 3. 2014. P. 2654–2662.

12.       Caffe. Deep learning framework by the BVLC [official website]. URL: http://caffe.berkeleyvision.org/ (accessed 14.04. 2016).

 

 

Полный текст