Научно-технический
«ОПТИЧЕСКИЙ ЖУРНАЛ»
издается с 1931 года
 
   
Русский вариант сайта Английский вариант сайта
   
       
   
       
Статьи последнего выпуска

Электронные версии
выпусков начиная с 2008


Алфавитный указатель
2000-2010 гг


444
Архив оглавлений
выпусков 2002-2007 гг


Реквизиты и адреса

Вниманию авторов и рецензентов!
- Порядок публикации
- Порядок рецензирования статей
- Типовой договор
- Правила оформления
- Получение авторского вознаграждения
- Редакционная этика


Контакты

Подписка

Карта сайта




Журнал с 01.12.2015 допущен ВАК для публикации основных результатов диссертаций как издание, входящее в международные реферативные базы систем цитирования (Web Science, Scopus) (см. Vak.ed.gov.ru Перечень журналов МБД 16.03.2018г)

Аннотации (03.2021) : ОБУЧЕНИЕ УЛУЧШЕННОЙ МОДЕЛИ РЕКУРРЕНТНОГО ВНИМАНИЯ С ИСПОЛЬЗОВАНИЕМ АЛЬТЕРНАТИВНОЙ ФУНКЦИИ ВОЗНАГРАЖДЕНИЯ

ОБУЧЕНИЕ УЛУЧШЕННОЙ МОДЕЛИ РЕКУРРЕНТНОГО ВНИМАНИЯ С ИСПОЛЬЗОВАНИЕМ АЛЬТЕРНАТИВНОЙ ФУНКЦИИ ВОЗНАГРАЖДЕНИЯ

 

© 2021 г. Р. О. Малашин*, **, канд. техн. наук

*   Институт физиологии им. И.П. Павлова Российской академии наук, Санкт-Петербург

** Государственный университет аэрокосмического приборостроения, Санкт-Петербург

E-mail: malashinroman@mail.ru

УДК 004.93'1; 004.932.2; 004.81

Поступила в редакцию 01.12. 2020

DOI:10.17586/1023-5086-2021-88-03-18-23

Рассмотрена рекуррентная модель внимания применительно к задачам классификации изображений. Приведены модификации подхода, которые позволяют повысить его точность. Для обучения нейронной сети предложено использование вознаграждения в виде отрицательной перекрестной энтропии, увеличивающего информативность сигнала подкрепления, использована более глубокая архитектура подсети управления вниманием, а также алгоритм асинхронного актора-критика. Проведены эксперименты на базах данных MNIST и CIFAR, которые подтверждают эффективность предложенных модификаций. Кроме того, проведены эксперименты с использованием обученных классификаторов, которые показывают сложность задачи одновременного управления вниманием и выбора одного из встроенных классификаторов для анализа выбранного фрагмента.

Ключевые слова: управление вниманием, классификация изображений, обучение с подкреплением.

Коды OCIS: 100.4996, 100.4999, 100.4996

 

Литература 

1.    Minh V., Nicolas H., Graves A., Kavukcouglu K. Recurrent models of visual attention // NIPS Proc. 2014. URL: https://papers.nips.cc/paper/2014/file/09c6c3783b4a70054da74f2538ed47c6-Paper.pdf (accessed 03.05.2020).

2.   Bellver M., Giro-i Nieto X., Marques F., Torres J. Hierarchical object detection with deep reinforcement learning // Deep Reinforcement Learning Workshop. 2016. URL: https://imatge.upc.edu/web/sites/default/files/pub/cBellver.pdf (accessed 03.11.2020).

3.   Wang X., Yu F., Gonzalez J. SkipNet: Learning dynamic routing in convolutional Networks. 2017. URL: https://arxiv.org/pdf/1711.09485.pdf (accessed 03.11.2020).

4.   Wang Z., Sarcar S., Liu J., Zheng Y., Ren X. Outline objects using deep reinforcement learning. 2018. URL: https://arxiv.org/abs/1804.04603 (accessed 03.11.2020).

5.   Samyua J., Lord A., Lee N., Torr P. Learn to pay attention // ICLR. 2018. URL: https://arxiv.org/abs/1804.02391 (accessed 03.05.2020).

6.   Xiang Li, Wenhai Wang, Xiaolin Hu, Jian Yang. Selective Kernel Networks. 2019. URL: https://arxiv.org/abs/1903.06586 (accessed 03.10.2020).

7.    Xiang Li, Wenhai Wang, Xiaolin Hu, Jian Yang. Selective Kernel Networks. 2020. URL: https://arxiv.org/pdf/2004.08955.pdf (accessed 03.11.2020).

8.   Vaswani A., Shazeer N., Parmar N., et al. Attention is all you need. 2017. URL: https://arxiv.org/abs/1706.03762 (accessed 03.11.2020).

9.   Dosovitskiy A., Beyer L. An image is worth 16ґ16 words: Transformers for image recognition at scale. 2020. URL: https://arxiv.org/abs/2010.11929 (accessed 03.11.2020).

10. Carion N., Massa F., Synnaeve G., Usunier N., et al. End-to-end object detection with transformers 2020.  URL: https://arxiv.org/abs/2005.12872 (accessed 03.11.2020).

11.  Malashin. R. Principle of least action in dynamically configured image analysis systems // JOT. 2019. V. 86. № 11. P. 678–685.

12.       Chen T., Wang Z., Li G., Lin L. Recurrent attentional reinforcement learning for multi-label image recognition. 2017. URL: http://proceedings.mlr.press/v70/mcgill17a.html (accessed 03.11.2020).

 

 

Полный текст