Исследование способностей нейронных сетей к извлечению и использованию семантической информации при обучении восстановлению зашумлённых изображений

Титаренко М.А., Малашин Р.О. Исследование способностей нейронных сетей к извлечению и использованию семантической информации при обучении восстановлению зашумлённых изображений // Оптический журнал. 2022. Т. 89. №2. С. 25–35. http://doi.org/ 10.17586/1023-5086-2022-89-02-25-35

Titarenko M.A., Malashin R.O. Study of the ability of neural networks to extract and use semantic information when they are trained to reconstruct noisy images [in Russian] // Opticheskii Zhurnal. 2022. V. 89. № 2. P. 25–35. http://doi.org/ 10.17586/1023-5086-2022-89-02-25-35

Mikhail Alekseevich Titarenko and Roman Olegovich Malashin, "Study of the ability of neural networks to extract and use semantic information when they are trained to reconstruct noisy images," Journal of Optical Technology. 89(2), 81-88 (2022). https://doi.org/10.1364/JOT.89.000081

Предмет исследования. В работе исследуются глубокие свёрточные нейронные сети, выполняющие задачу улучшения изображений в условиях шума, которые получают на вход дополнительную информацию об объектах на изображении в виде масок сегментации. Исследуется несколько способов использования семантической информации в процессе работы сети. Во-первых, путём подачи маски вместе с изображением на вход сети, а во-вторых, путём создания функции потерь с использованием маски сегментации. Метод. Проведено несколько серий экспериментов с различными типами использования семантической информации и без её использования. Эксперименты проводились с несколькими интенсивностями шума. Выполнен анализ качества восстановления изображения в целом и качества восстановления области изображений, соответствующих целевому классу. Класс дорожных знаков был выбран в качестве целевого, поскольку обладает меньшей изменчивостью, чем многие другие классы, что даёт преимущество сети при его восстановлении при наличии семантической информации, чем без таковой. В ходе исследования использовался набор данных COCO с размеченными картами сегментации. Для анализа семантических свойств всех объектов, содержащихся в наборе COCO, на восстановление изображений было разработано тестовое окружение с возможностью визуализации результатов тестирования, что позволило сделать некоторые полезные выводы о том, как различные свойства объектов влияют на точность их восстановления. Основные результаты. Мы показываем, что в условиях сильного шума сеть реконструкции, обученная с использованием дополнительной информации в виде масок сегментации, может лучше восстанавливать объекты, соответствующие маскам (на 3,5%), при этом способность сети восстанавливать все изображение существенно не падает (на 0,4%), однако для слабого и среднего шума такого прироста качества не получено. Практическая значимость. В работе мы ставили цель не создать законченный алгоритм и архитектуру нейронной сети, а лишь исследовать возможные свойства подобных алгоритмов, поэтому мы подавали на вход нейронных сетей эталонные семантические разметки. При доработке такой метод может быть дополнен сетью-сегментатором, которая бы извлекала информацию автоматически из зашумлённого изображения (в этом случае сам процесс улучшения может быть итеративным — после сегментирования изображение улучшается, а по улучшенному изображению строится уточнённая маска сегментации).