Single frame Noise2Noise: метод обучения нейронных сетей без использования эталонных данных в задаче улучшения изображения видеопоследовательности

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Бойко A.A., Малашин Р.О. Single frame Noise2Noise: метод обучения нейронных сетей без использования эталонных данных в задаче улучшения изображения видеопоследовательности // Оптический журнал. 2020. Т. 87. № 10. С. 5–14. http://doi.org/10.17586/1023-5086-2020-87-10-05-14

Boiko A.A., Malashin R.O. Single-frame Noise2Noise: method of training a neural network without using reference data for video sequence image enhancement [in Russian] // Opticheskii Zhurnal. 2020. V. 87. № 10. P. 5–14. http://doi.org/10.17586/1023-5086-2020-87-10-05-14

Ссылка на англоязычную версию:

A. A. Boiko and R. O. Malashin, "Single-frame Noise2Noise: method of training a neural network without using reference data for video sequence image enhancement," Journal of Optical Technology. 87(10), 567-573 (2020). https://doi.org/10.1364/JOT.87.000567

Аннотация:

На основе предположения о сходстве сигнала и независимости шумовой составляющей в пространственно близких пикселах изображения предложен метод обучения нейронных сетей улучшению изображений без эталона. Подход позволяет сформировать данные для обучения из каждого кадра видеопоследовательности путём прореживания на чётные и нечётные строки и столбцы, поэтому возможно обучение восстановлению с учётом признаков о динамических свойствах объектов на изображении. Исследованы эффективность и ограничения предложенного метода, продемонстрирована его работоспособность на базе данных изображений, снятой в условиях низкого освещения.

Ключевые слова:

подавление шума, реставрация изображений, обучение без эталонов

Коды OCIS: 100.2980, 150.1135

Список источников:

1. Chen Chen, Qifeng Chen, Jia Xu et al. Learning to see in the dark // IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City. UT. June 2018. P. 3291–3300.

2. Samuel W. Hasinoff, Dillon Sharlet, Ryan Geiss et al. Burst photography for high dynamic range and low-light imaging on mobile cameras // ACM Transactions on Graphics (TOG). 2016. V. 35. № 6. P. 1–12.

3. Anaya Josue, Barbu Adrian. RENOIR — a benchmark dataset for real noise reduction evaluation // Journal of Visual Communication and Image Representation. 2018. P. 144–154.

4. Plotz Tobias, Roth Stefan. Benchmarking denoising algorithms with real photographs // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu. HI. Jul 2017. P. 2750–2759.

5. Brummer Benoit, De Vleeschouwer Christophe. Natural image noise dataset // IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach. CA. USA. June 2019. P. 1777–1784.

6. Liu X., Tanaka M., Okutomi M. Single-image noise level estimation for blind denoising // IEEE Transactions on Image Processing. 2013. V. 22. № 12. P. 5226–5237.

7. Jaakko Lehtinen, Jacob Munkberg, Jon Hasselgren et al. Noise2Noise: learning image restoration without clean data // International Conference on Machine Learning. Stockholm. Sweden. Jule 2018. P. 2965–2974.

8. Tian C., Xu Y., Fei L., Yan K., Deep learning for image denoising: a survey // International Conference on Genetic and Evolutionary Computing. Springer. Singapore. 2018. P. 563–572.

9. Zhang K., Zuo W., Zhang L. FFDNet: toward a fast and flexible solution for CNN-based image denoising // IEEE Transactions on Image Processing. 2018. V. 27. № 9. P. 4608–4622.

10. Murphy Kevin P. Machine learning: a probabilistic perspective. Cambridge, Massachusetts, USA: MIT Press, 2012. 1067 p.

11. Shi Guo, Zifei Yan, Kai Zhang et al. Toward convolutional blind denoising of real photographs // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach. CA. USA. June 2019. P. 1712–1722.

12. Claus Michele, van Gemert Jan. ViDeNN: deep blind video denoising // IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach. CA. USA. June 2019. P. 1843–1852.

13. Foi A., Trimeche M., Katkovnik V. et al. Practical poissonian-gaussian noise modeling and fitting for single image raw-data // IEEE Transactions on Image Processing. 2008. V. 17. № 10. P. 1737–1754.

14. Chen C., Chen Q., Do M. et al. Seeing motion in the dark // IEEE/CVF International Conference on Computer Vision (ICCV). Seoul. Korea. Oct 27th — Nov 2^nd. 2019. P. 3184–3193.

15. Ben Mildenhall, Jonathan T. Barron, Jiawen Chen et al. Burst denoising with kernel prediction networks // IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City. UT. June 2018. P. 2502–2510.

16. Ulyanov D., Vedaldi A., Lempitsky V.S. Deep image prior // IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City. UT. June 2018. P. 9446–9454.

17. Batson J., Royer L. Noise2Self: blind denoising by self-supervision // CoRR. 2019. V. abs/1901.11365. URL: http://arxiv.org/abs/1901.11365.

18. Krull A., Buchholz T.-O., Jug F. Noise2Void — learning denoising from single noisy images // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach. CA. USA. June 2019. P. 2124–2132.

19. Moran Nick, Schmidt Dan, Zhong Yu et al. Noisier2Noise: learning to denoise from unpaired noisy data // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, online, June 2020. P. 12064–12072.

20. Jun Xu, Yuan Huang, Li Liu et al. Noisy-As-Clean: learning unsupervised denoising from the corrupted image // CoRR. 2019. V. abs/1906.06878. URL: http://arxiv.org/abs/1906.06878.

21. Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-Net: convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention. Springer. Cham. 2015. P. 234–241.

22. Gonzales Rafael C., Fittes B.A. Gray-level transformations for interactive image enhancement // Mechanism and Machine Theory. 1977. V. 12. № 1. P. 111–122. 23. Guizar-Sicairos Manuel, Thurman Samuel T., Fienup James R. Efficient subpixel image registration algorithms // Opt. Lett. 2008. Jan. V. 33. № 2. P. 156–158.