Метод улучшения изображений с помощью глубоких нейронных сетей при использовании высокоуровневой информации

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Титаренко М.А., Малашин Р.О. Метод улучшения изображений с помощью глубоких нейронных сетей при использовании высокоуровневой информации// Оптический журнал. 2020. Т. 87. № 10. С. 59–68. http://doi.org/10.17586/1023-5086-2020-87-10-59-68 Titarenko M. A. and Malashin R. O. Image enhancement by deep neural networks using high-level information [in Russian] // Opticheskii Zhurnal. 2020. V. 87. № 10. P. 59–68. http://doi.org/10.17586/1023-5086-2020-87-10-59-68

Ссылка на англоязычную версию:

M. A. Titarenko and R. O. Malashin, "Image enhancement by deep neural networks using high-level information," Journal of Optical Technology. 87(10), 604-610 (2020). https://doi.org/10.1364/JOT.87.000604

Аннотация:

Исследован метод обучения нейронных сетей улучшению изображений, основанный на использовании информации, содержащейся в признаках нейронной сети, обученной классификации изображений. Проведены эксперименты, направленные на поиск оптимальной функции потерь для достижения максимальной точности классификации изображений при наложении шума и размытия. Показана зависимость наилучшей конфигурации параметров обучения от типа деградирующего воздействия и целевой задачи. Впервые исследовано влияние такой функции потерь для различных типов деградации изображений на восстановление и точность распознавания по сравнению с использованием единственного классификатора, обученного в условиях воздействия искажающих факторов. Показано, что некоторые простые искажения целесообразно исправлять «вне» классификатора, а некоторые «внутри» классификатора.

Ключевые слова:

улучшение изображений, глубокие нейронные сети, функция потерь на основе признаков сети

Коды OCIS: 150.1135, 100.2980

Список источников:

1. Bruna J., Sprechmann P., Le Cun Y. Super-resolution with deep convolutional sufficient statistics // International Conference on Learning Representations. 2–4 May 2016. Puerto Rico, San Juan. P. 17.

2. Lucas A., Lopez-Tapia S., Molina R. et al. Generative adversarial networks and perceptual losses for video super-resolution // IEEE Transactions on Image Processing. 2019. P. 3312–3327.

3. Johnson J., Alahi A., Li F. Perceptual losses for real-time style transfer and super-resolution // European conference on computer vision. 8–16 October 2016. Amsterdam, The Netherlands. P. 18.

4. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // International Conference on Learning Representations. 7–9 May 2015. USA, San Diego. P. 14.

5. Szeliski R. Computer vision: algorithms and applications. N.Y., London: Springer-Verlag, 2011. P. 979.

6. Russakovsky O., Deng J., Su H., Krause J. ImageNet large scale visual recognition challenge. 2015. URL: https://arxiv.org/pdf/1409.0575.pdf (accessed: 18.06.2019).

7. Ding L., Bihan W. Connecting image denoising and high-level vision tasks via deep learning. URL: https://arxiv.org/pdf/1809.01826.pdf (accessed: 18.05.2019).

8. Zeiler M., Fergus R. Visualizing and understanding convolutional networks. 2013. URL: https://arxiv.org/pdf/1311.2901.pdf (accessed: 18.06.2019).

9. Olaf Ronneberger, Philipp Fischer, Thomas Brox. U-Net: convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention. 2015. P. 234–241.

10. Kaiming He, Xiangyu Zhang, Shaoqing Ren et al. Deep residual learning for image recognition // IEEE Conference on Computer Vision and Pattern Recognition. 27–30 June 2016. USA, Las Vegas. P. 9.

11. Machine learning framework PyTorch. URL: https://pytorch.org (accessed: 18.06.2019). 12. Diederik P. Kingma, Jimmy Ba. Adam: a method for stochastic optimization. 2017. URL: https://arxiv.org/pdf/1412.6980.pdf (accessed: 18.06.2019).