Применение генеративных моделей глубокого обучения для аппроксимации плотности распределения образов

Ященко А.В., Потапов А.С., Родионов С.А., Жданов И.Н., Щербаков О.В., Петерсон М.В.

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Ященко А.В., Потапов А.С., Родионов С.А., Жданов И.Н., Щербаков О.В., Петерсон М.В. Применение генеративных моделей глубокого обучения для аппроксимации плотности распределения образов // Оптический журнал. 2019. Т. 86. № 12. С. 29–34. http://doi.org/10.17586/1023-5086-2019-86-12-29-34

Yashchenko A.V., Potapov A.S., Rodionov S.A., Zhdanov I.N., Shcherbakov O.V., Peterson M.V. Application of generative deep learning models for approximation of image distribution density [in Russian] // Opticheskii Zhurnal. 2019. V. 86. № 12. P. 29–34. http://doi.org/10.17586/1023-5086-2019-86-12-29-34

Ссылка на англоязычную версию:

A. V. Yashchenko, A. S. Potapov, S. A. Rodionov, I. N. Zhdanov, O. V. Shcherbakov, and M. V. Peterson, "Application of generative deep learning models for approximation of image distribution density," Journal of Optical Technology. 86(12), 769-773 (2019). https://doi.org/10.1364/JOT.86.000769

Аннотация:

Исследованы генеративные нейросетевые модели для обучения визуальным понятиям и задачи аппроксимации плотности распределения образов. Вводится критерий принадлежности образа моделируемому классу на основе оценки вероятности в пространстве латентных переменных и ошибки реконструкции. Проводится сравнение нескольких генеративных моделей глубокого обучения. Экспериментально получены оценки качества решения задачи одноклассовой классификации для набора изображений рукописных цифр.

Ключевые слова:

обучение визуальным понятиям, глубокое обучение, генеративные модели, обнаружение новизны

Коды OCIS: 150.1135, 100.4996

Список источников:

1. Diederik P. Kingma, Max Welling. Auto-encoding variational bayes // Тез. докл. International Conference on Learning Representations. Banff, Canada. April 14–16, 2014. 14 p.
2. Гудфеллоу Я., Курвилль А., Бенджио И. Глубокое обучение. М.: ДМК Пресс, 2018. 654 с.
3. Makhzani A., Shlens J., Jaitly N., Goodfellow I. Adversarial autoencoders // Тез. докл. International Conference on Learning Representations. San Juan, Puerto Rico. May 2–4, 2016. 16 p.
4. Tschannen M., Bachem O., Lucic M. Recent advances in autoencoder-based representation learning // Тез. докл. Conference on Neural Information Processing Systems. Montreal, Canada. Dec 3–4, 2018. 25 p.
5. Zhang J., Dang H., Kuan Lee H., Chang E. Flipped-adversarial autoencoders [электронный ресурс] 2018. – Режим доступа: https://arxiv.org/pdf/1802.04504.pdf, свободный.
6. Donahue J., Krähenbühl P., Darrell T. Adversarial feature learning // Тез. докл. International Conference on Learning Representations. Toulon, France. April 24–26, 2017. 18 p.
7. Goodfellow I.J., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial networks // Тез. докл. Neural Information Processing Systems Conference. Montreal, Canada. Dec 8–13, 2014. 9 p.
8. Pidhorskyi S., Almohsen R., A Adjeroh D., Doretto G. Generative probabilistic novelty detection with adversarial autoencoders // Тез. докл. Conference on Neural Information Processing Systems. Montreal, Canada. Dec 8–13, 2018. 12 p.
9. Dosovitskiy A., Brox T. Generating images with perceptual similarity metrics based on deep networks. [электронный ресурс] 2016. Режим доступа: https://arxiv.org/pdf/1602.02644.pdf, свободный.
10. Isola P., Zhu J., Zhou T., A. Efros A. Image-to-image translation with conditional adversarial networks // Тез. докл. IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii. July 21–26, 2017. 17 p.
11. Chen X., Duan Y., Houthooft R., Schulman J., Sutskever I., Abbeel P. InfoGAN: interpretable representation learning by information maximizing generative adversarial nets // Тез. докл. Neural Information Processing Systems Conference. Barcelona, Spain. Dec. 5–10, 2016. 14 p.
12. Bang D., Shim H. High quality bidirectional generative adversarial networks. [электронный ресурс] 2018. Режим доступа: https://arxiv.org/pdf/1805.10717.pdf, свободный.
13. Le Cun Y., Cortes C., Burges C.J.C. THE MNIST DATABASE of handwritten digits. [электронный ресурс] 2018. Режим доступа: http://yann.lecun.com/exdb/mnist/, свободный.
14. Ioffe S., Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift // Тез. докл. International Conference on Machine Learning. Lille, France. July 6–11, 2015. 11 p.
15. Pedamonti D. Comparison of non-linear activation functions for deep neural networks on MNIST classification task. [электронный ресурс] 2018. Режим доступа: https://arxiv.org/pdf/1804.02763.pdf, свободный.
16. Sehgal S., Singh H., Agarwal M. Data analysis using principal component analysis // Тез. докл. International Conference on Medical Imaging. Greater Noida, India. Nov. 7–8, 2014. 3 p.
17. Bishop C. Pattern recognition and machine learning. N.Y.: Springer, 2007. 758 p.
18. Higgins I., Matthey L., Pal A. Beta-VAE: learning basic visual concepts with a constrained variational framework // Тез. докл. International Conference on Learning Representations. Toulon, France. April 24–26, 2017. 22 p.