Обучение улучшенной модели рекуррентного внимания с использованием альтернативной функции вознаграждения

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Малашин Р.О. Обучение улучшенной модели рекуррентного внимания с использованием альтернативной функции вознаграждения // Оптический журнал. 2021. Т. 88. № 3. С.18–23. http://doi.org/10.17586/1023-5086-2021-88-03-18-23

Malashin R.O. Training an improved recurrent attention model using an alternative reward function [in Russian] // Opticheskii Zhurnal. 2021. V. 88. № 3. P.18–23. http://doi.org/10.17586/1023-5086-2021-88-03-18-23

Ссылка на англоязычную версию:

R. O. Malashin, "Training an improved recurrent attention model using an alternative reward function," Journal of Optical Technology. 88(3), 127-130 (2021). https://doi.org/10.1364/JOT.88.000127

Аннотация:

Рассмотрена рекуррентная модель внимания применительно к задачам классификации изображений. Приведены модификации подхода, которые позволяют повысить его точность. Для обучения нейронной сети предложено использование вознаграждения в виде отрицательной перекрестной энтропии, увеличивающего информативность сигнала подкрепления, использована более глубокая архитектура подсети управления вниманием, а также алгоритм асинхронного актора-критика. Проведены эксперименты на базах данных MNIST и CIFAR, которые подтверждают эффективность предложенных модификаций. Кроме того, проведены эксперименты с использованием обученных классификаторов, которые показывают сложность задачи одновременного управления вниманием и выбора одного из встроенных классификаторов для анализа выбранного фрагмента.

Ключевые слова:

управление вниманием, классификация изображений, обучение с подкреплением

Коды OCIS: 100.4996, 100.4999, 100.4996

Список источников:

1. Minh V., Nicolas H., Graves A., Kavukcouglu K. Recurrent models of visual attention // NIPS Proc. 2014. URL: https://papers.nips.cc/paper/2014/file/09c6c3783b4a70054da74f2538ed47c6-Paper.pdf (accessed 03.05.2020).
2. Bellver M., Giro-i Nieto X., Marques F., Torres J. Hierarchical object detection with deep reinforcement learning // Deep Reinforcement Learning Workshop. 2016. URL: https://imatge.upc.edu/web/sites/default/files/pub/cBellver.pdf (accessed 03.11.2020).
3. Wang X., Yu F., Gonzalez J. SkipNet: Learning dynamic routing in convolutional Networks. 2017. URL: https://arxiv.org/pdf/1711.09485.pdf (accessed 03.11.2020).
4. Wang Z., Sarcar S., Liu J., Zheng Y., Ren X. Outline objects using deep reinforcement learning. 2018. URL: https://arxiv.org/abs/1804.04603 (accessed 03.11.2020).
5. Samyua J., Lord A., Lee N., Torr P. Learn to pay attention // ICLR. 2018. URL: https://arxiv.org/abs/1804.02391 (accessed 03.05.2020).
6. Xiang Li, Wenhai Wang, Xiaolin Hu, Jian Yang. Selective Kernel Networks. 2019. URL: https://arxiv.org/abs/1903.06586 (accessed 03.10.2020).
7. Xiang Li, Wenhai Wang, Xiaolin Hu, Jian Yang. Selective Kernel Networks. 2020. URL: https://arxiv.org/pdf/2004.08955.pdf (accessed 03.11.2020).
8. Vaswani A., Shazeer N., Parmar N., et al. Attention is all you need. 2017. URL: https://arxiv.org/abs/1706.03762 (accessed 03.11.2020).
9. Dosovitskiy A., Beyer L. An image is worth 16×16 words: Transformers for image recognition at scale. 2020. URL: https://arxiv.org/abs/2010.11929 (accessed 03.11.2020).
10. Carion N., Massa F., Synnaeve G., Usunier N., et al. End-to-end object detection with transformers 2020. URL: https://arxiv.org/abs/2005.12872 (accessed 03.11.2020).
11. Malashin. R. Principle of least action in dynamically configured image analysis systems // JOT. 2019. V. 86. № 11. P. 678–685.
12. Chen T., Wang Z., Li G., Lin L. Recurrent attentional reinforcement learning for multi-label image recognition. 2017. URL: http://proceedings.mlr.press/v70/mcgill17a.html (accessed 03.11.2020).