УДК: 004.93'1, 004.932.2

Сверточные искусственные нейронные сети глубокого обучения

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Луцив В.Р. Сверточные искусственные нейронные сети глубокого обучения // Оптический журнал. 2015. Т. 82. № 8. С. 11–23.

Lutsiv V.R. Convolutional deep-learning artificial neural networks [in Russian] // Opticheskii Zhurnal. 2015. V. 82. № 8. P. 11–23.

Ссылка на англоязычную версию:

V. P. Lutsiv, "Convolutional deep-learning artificial neural networks," Journal of Optical Technology. 82(8), 499-508 (2015). https://doi.org/10.1364/JOT.82.000499

Аннотация:

Рассматривается история возникновения и развития концепции сверточных искусственных нейронных сетей, которые, благодаря применению в них технологии обучения на основе обратного распространения сигнала ошибки, стали в настоящее время одним из самых эффективных инструментов автоматической классификации изображений. Наряду с возможностями современных сверточных нейронных сетей в области классификации формы объектов проанализированы также особенности их применения при анализе информации других иерархических уровней – от классификации текстур до структурной декомпозиции изображений на основе формирования зон внимания. Рассмотрение сверточных сетей выполняется в тесной связи с описанием их естественных аналогов, обнаруженных в нейронных ансамблях живых зрительных систем.

Ключевые слова:

искусственная нейронная сеть, сверточная сеть, сеть глубокого обучения, классификация изображений, структурный анализ

Благодарность:

Работа выполнена при поддержке Министерства образования и науки Российской Федерации и частично при государственной поддержке ведущих университетов Российской Федерации (субсидия 074-U01).

Коды OCIS: 100.2960, 100.3005, 100.3008, 100.5010, 110.2960, 150.1135

Список источников:

1. Zeiler M.D., Fergus R. Visualizing and understanding convolutional networks // European Conference on Computer Vision (ECCV). Part I. September 6–12, 2014. Zurich, Switzerland. P. 818–833.
2. LeCun Y., Boser B., Denker J.S., Henderson D., Howard R.E., Hubbard W., Jackel L.D. Backpropagation applied to handwritten zip code recognition // Neural Comput. 1989. V. 1. № 4. P. 541–551.
3. Луцив В.Р., Малашин Р.О. Объектно-независимый структурный анализ изображений: история и современные подходы // Оптический журнал. 2014. Т. 81. № 11. C. 31–44.
4. Розенблатт Ф. Принципы нейродинамики (перцептрон и теория механизмов мозга). М.: Мир, 1965. 480 с.
5. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation // Parallel Distributed Processing. 1986. V. 1. P. 318–362.
6. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors // Nature. 1986. V. 323. P. 533.
7. Farr K.B., Hartman R.L. Optical-digital neural network system for aided target recognition // Proc. SPIE. 1995. V. 2485. P. 141–154.
8. Yamada K., Kami H., Tsukumo J., Temma T. Handwritten numeral recognition by multilayered neural network with improved learning algorithm // IJCNN Intern. Joint Conf. on Neural Networks. USA, D.C., 1989. P. II-259–II-266.
9. Yamada K. Improved learning algorithm for multilayer neural networks and handwritten numeral recognition // NEC Research and Development. 1990. July. № 98. P. 81–88.
10. Fukushima K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position // Biological Cybernetics. 1980. V. 36. № 4. P. 93–202.
11. Fukushima K. Neural network model for selective attention in visual pattern recognition and associative recall // Applied optics. 1987. V. 26. № 23. P. 4985–4992.
12. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. Пер. с англ. М.: Радио и связь, 1987. 400 с.
13. Julesz B. Textrons. The elements of textural perception and their interactions // Nature. 1981. V. 290. P. 91–97.
14. Laws K. Rapid texture identification // SPIE Image Processing for Missile Guidance. 1980. V. 238. P. 376–380.
15. Vistnes R. Texture models and image measures for segmentation // Proceedings: 18th Image Understanding Workshop. 6–8 April, 1988. Cambridge, Massachusetts, USA. P. 1005–1015.
16. Lutsiv V.R., Dolinov D.S., Zherebko A.K., Novikova T.A. Using artificial neural networks in image processing problems // J. of optical technology. 1997. V. 64. № 2. P. 112–118.
17. Завалишин Н.В., Мучник И.Б. Модели зрительного восприятия и алгоритмы анализа изображений. М.: Наука, 1974. 344 с.
18. Луцив В. Автоматический анализ изображений. Объектно-независимый структурный подход. Саарбрюккен, Германия: Ламберт Академик Паблишинг, 2011. 300 с.
19. Луцив В.Р. Объектно-независимый подход к структурному анализу изображений // Оптический журнал. 2008. Т. 75. № 11. С. 26–34.

20. Lutsiv V., Malyshev I. Image structural analysis in the tasks of automatic navigation of unmanned vehicles and inspection of Earth surface // Proc. SPIE. 2013. V. 8897. P. 88970F-1–88970F-15.
21. Viola P., Jones M.J. Rapid object detection using a boosted cascade of simple features // Proceedings of IEEE Computer Vision and Pattern Recognition Conference. 8–14 December 2001. Kauai, HI, USA. P. I-501–I-518.
22. Zhu Q., Avidan S., Yeh M., Cheng K. Fast human detection using a cascade of histograms of oriented gradients // Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006. N.Y., USA. V. 2. P. 1491–1498.
23. Dalal N., Triggs B. Histograms of oriented gradients for human detection // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2005. San Diego, CA, USA. P. 886–893.
24. Felzenszwalb P.F., Girshick R.B., McAllester D., Ramanan D. Object detection with discriminatively trained part based models // IEEE Trans. Pattern Analysis and Machine Intelligence. 2010. V. 32. № 9. P. 1627–1645.
25. http://www.image-net.org (5 мая 2014 г.).
26. Lowe D.G. Distinctive image features from scale-invariant keypoints // Int. J. of Computer Vision. 2004. V. 60. № 2. P. 91–110.
27. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features // Proc. 9th European Conf. on Computer Vision. May 7–13 2006. Graz, Austria. P. 404–417.
28. Morel J.M., Yu G. ASIFT: A new framework for fully affine invariant image comparison // SIAM J. on Imaging Sciences. 2009. V. 2. Is. 2. P. 438–469.
29. Yu G., Morel J.M. A fully affine invariant image comparison method // Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). 2009. Taipei, Taiwan. P. 1597–1600.
30. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // NIPS conference proceedings. 2012. December 3–8, Lake Tahoe, Nevada, USA. P. 1106–1114.
31. Potapov A.S., Malyshev I.A., Puysha A.E., Averkin A.N. New paradigm of learnable computer vision algorithms based on representational MDL principle // Proc. SPIE. 2010. V. 7696. P. 769606-1–769606-11.
32. Potapov A., Batishcheva V., Peterson M. Limited generalization capabilities of autoencoders with logistic regression on training sets of small sizes // IFIP Advances in Information and Communication Technology / Ed. by Iliadis L., Maglogiannis I., Papadopoulos H. N.Y.: Springer, 2014. V. 436 (AIAI 2014). P. 256–264.
33. Howard A.G. Some improvements on deep convolutional neural network based image classification // 2nd International Conference on Learning Representations (ICLR2014). 14–16 April 2014. Banff, Canada. 6 p.
34. Goodfellow I.J., Warde-Farley D., Mirza M., Courville A., Bengio Y. Maxout networks // 2nd International Conference on Learning Representations (ICLR2014). 14–16 April 2014. Banff, Canada, 9 p. (arXiv preprint arXiv:1302.4389, 2013).
35. Lin M., Chen Q., Yan S. Network in network // 2nd International Conference on Learning Representations (ICLR2014). 14–16 April, 2014. Banff, Canada. 10 p.
36. Zeiler M.D., Krishnan D., Taylor G.W., Fergus R. Deconvolutional networks // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 13–18 June 2010. San Francisco, USA. P. 2528–2535.