Научно-технический
«ОПТИЧЕСКИЙ ЖУРНАЛ»
издается с 1931 года
 
   
Русский вариант сайта Английский вариант сайта
   
       
   
       
Статьи последнего выпуска

Электронные версии
выпусков начиная с 2008


Алфавитный указатель
2000-2010 гг


444
Архив оглавлений
выпусков 2002-2007 гг


Реквизиты и адреса

Вниманию авторов и рецензентов!
- Порядок публикации
- Порядок рецензирования статей
- Типовой договор
- Правила оформления
- Получение авторского вознаграждения
- Редакционная этика


Контакты

Подписка

Карта сайта




Журнал с 01.12.2015 допущен ВАК для публикации основных результатов диссертаций как издание, входящее в международные реферативные базы систем цитирования (Web Science, Scopus) (см. Vak.ed.gov.ru Перечень журналов МБД 16.03.2018г)

Аннотации (10.2020) : SINGLE FRAME NOISE2NOISE: МЕТОД ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ БЕЗ ИСПОЛЬЗОВАНИЯ ЭТАЛОННЫХ ДАННЫХ В ЗАДАЧЕ УЛУЧШЕНИЯ ИЗОБРАЖЕНИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

SINGLE FRAME NOISE2NOISE: МЕТОД ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ БЕЗ ИСПОЛЬЗОВАНИЯ ЭТАЛОННЫХ ДАННЫХ В ЗАДАЧЕ УЛУЧШЕНИЯ ИЗОБРАЖЕНИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

 

© 2020 г.      A. A. Бойко*, **, Р. О. Малашин*, **, ***, канд. техн. наук

*     Институт физиологии им. И.П. Павлова РАН, Санкт-Петербург

**   Университет ИТМО, Санкт-Петербург

*** Государственный университет аэрокосмического приборостроения, Санкт-Петербург

E-mail: aa.sparagus.bo@yandex.ru

УДК 004.932.4

Поступила в редакцию 31.05.2020

DOI:10.17586/1023-5086-2020-87-10-05-14

На основе предположения о сходстве сигнала и независимости шумовой составляющей в пространственно близких пикселах изображения предложен метод обучения нейронных сетей улучшению изображений без эталона. Подход позволяет сформировать данные для обучения из каждого кадра видеопоследовательности путём прореживания на чётные и нечётные строки и столбцы, поэтому возможно обучение восстановлению с учётом признаков о динамических свойствах объектов на изображении. Исследованы эффективность и ограничения предложенного метода, продемонстрирована его работоспособность на базе данных изображений, снятой в условиях низкого освещения.

Ключевые слова: подавление шума, реставрация изображений, обучение без эталонов.

Коды OCIS: 100.2980, 150.1135

 

Литература

1.    Chen Chen, Qifeng Chen, Jia Xu et al. Learning to see in the dark // IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City. UT. June 2018. P. 3291–3300.

2.   Samuel W. Hasinoff, Dillon Sharlet, Ryan Geiss et al. Burst photography for high dynamic range and low-light imaging on mobile cameras // ACM Transactions on Graphics (TOG). 2016. V. 35. № 6. P. 1–12.

3.   Anaya Josue, Barbu Adrian. RENOIR — a benchmark dataset for real noise reduction evaluation // Journal of Visual Communication and Image Representation. 2018. P. 144–154.

4.   Plotz Tobias, Roth Stefan. Benchmarking denoising algorithms with real photographs // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu. HI. Jul 2017. P. 2750–2759.

5.   Brummer Benoit, De Vleeschouwer Christophe. Natural image noise dataset // IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach. CA. USA. June 2019. P. 1777–1784.

6.   Liu X., Tanaka M., Okutomi M. Single-image noise level estimation for blind denoising // IEEE Transactions on Image Processing. 2013. V. 22. № 12. P. 5226–5237.

7.    Jaakko Lehtinen, Jacob Munkberg, Jon Hasselgren et al. Noise2Noise: learning image restoration without clean data // International Conference on Machine Learning. Stockholm. Sweden. Jule 2018. P. 2965–2974.

8.   Tian C., Xu Y., Fei L., Yan K., Deep learning for image denoising: a survey // International Conference on Genetic and Evolutionary Computing. Springer. Singapore. 2018. P. 563–572.

9.   Zhang K., Zuo W., Zhang L. FFDNet: toward a fast and flexible solution for CNN-based image denoising // IEEE Transactions on Image Processing. 2018. V. 27. № 9. P. 4608–4622.

10. Murphy Kevin P. Machine learning: a probabilistic perspective. Cambridge, Massachusetts, USA: MIT Press, 2012. 1067 p.

11.  Shi Guo, Zifei Yan, Kai Zhang et al. Toward convolutional blind denoising of real photographs // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach. CA. USA. June 2019. P. 1712–1722.

12.  Claus Michele, van Gemert Jan. ViDeNN: deep blind video denoising // IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Long Beach. CA. USA. June 2019. P. 1843–1852.

13.  Foi A., Trimeche M., Katkovnik V. et al. Practical poissonian-gaussian noise modeling and fitting for single image raw-data // IEEE Transactions on Image Processing. 2008. V. 17. № 10. P. 1737–1754.

14.  Chen C., Chen Q., Do M. et al. Seeing motion in the dark // IEEE/CVF International Conference on Computer Vision (ICCV). Seoul. Korea. Oct 27th — Nov 2nd. 2019. P. 3184–3193.

15.  Ben Mildenhall, Jonathan T. Barron, Jiawen Chen et al. Burst denoising with kernel prediction networks // IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City. UT. June 2018. P. 2502–2510.

16.  Ulyanov D., Vedaldi A., Lempitsky V.S. Deep image prior // IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City. UT. June 2018. P. 9446–9454.

17.  Batson J., Royer L. Noise2Self: blind denoising by self-supervision // CoRR. 2019. V. abs/1901.11365. URL: http://arxiv.org/abs/1901.11365.

18. Krull A., Buchholz T.-O., Jug F. Noise2Void — learning denoising from single noisy images // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach. CA. USA. June 2019. P. 2124–2132.

19.  Moran Nick, Schmidt Dan, Zhong Yu et al. Noisier2Noise: learning to denoise from unpaired noisy data // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, online, June 2020. P. 12064–12072.

20. Jun Xu, Yuan Huang, Li Liu et al. Noisy-As-Clean: learning unsupervised denoising from the corrupted image // CoRR. 2019. V. abs/1906.06878. URL: http://arxiv.org/abs/1906.06878.

21.  Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-Net: convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention. Springer. Cham. 2015. P. 234–241.

22. Gonzales Rafael C., Fittes B.A. Gray-level transformations for interactive image enhancement // Mechanism and Machine Theory. 1977. V. 12. № 1. P. 111–122.

23.      Guizar-Sicairos Manuel, Thurman Samuel T., Fienup James R. Efficient subpixel image registration algorithms // Opt. Lett. 2008. Jan. V. 33. № 2. P. 156–158.

 

 

Полный текст