en
Назад
DOI: 10.17586/1023-5086-2023-90-08-44-54
УДК: 004.932.4, 004.832.32
Метод повышения резкости совмещённых стереоснимков при наличии оптических дисторсий
Полный текст на elibrary.ru
Публикация в Journal of Optical Technology
Малашин Р.О., Михалькова М.А. Метод повышения резкости совмещённых стереоснимков при наличии оптических дисторсий // Оптический журнал. 2023. Т. 90. № 8. С. 44–54. http://doi.org/10.17586/1023-5086-2023-90-08-44-54
Предмет исследования. Предметом исследования являются методы совмещения изображений, снятых с разных ракурсов при наличии дисторсий объективов. Цель работы — разработка способа снижения размытия изображения при переводе одного изображения в систему координат другого изображения. Метод. Рассмотрена задача получения единого преобразования для перевода изображения из системы координат исходных двух снимков. Получено выражение, представляющее собой суперпозицию нескольких геометрических преобразований, связанных с искажениями, вызванными дисторсиями двух объективов и индивидуальным сдвигом всех пикселов, определяемых методами стереозрения или оптического потока. Результаты. Особенностью задачи является то, что часть преобразований описывается аналитически (дисторсии), а часть — описывается матрицей сдвигов пикселов. Показано, что более удобными для использования в данной задаче являются преобразования, описываемые не оптическим потоком, а матрицей отображения. Выведены выражения, которые связывают системы координат двух снимков непосредственно. Предложенный подход инкапсуляции уравнений дисторсии в матрицу, описывающую оптический поток ректифицированных снимков, позволяет повысить качество изображения, переведённого в систему координат второго кадра. Это достигается за счёт отказа от последовательного перевода в несколько промежуточных систем координат, которые связаны с применением билинейной интерполяции и, следовательно, избыточным сглаживанием. Проведена экспериментальная проверка разработанного подхода, подтверждающая лучшие характеристики результирующего изображения по сравнению с традиционным подходом. Практическая значимость. Разработанный метод может быть применён в оптико-электронных системах с несколькими объективами в задачах, требующих, например, улучшения изображения широкоугольной камеры с помощью изображения узкопольного объектива.
стереозрение, оптический поток, дисторсии объектива, отождествление пикселов двух снимков, билинейная интерполяция
Благодарность:работа выполнена при поддержке Госпрограммы 47 ГП «Научно-технологическое развитие Российской Федерации» (2019–2030), тема 0134-2019-0006.
Коды OCIS: 070.2025, 110.2960, 080.1753, 080.2720, 100.2980, 100.3010, 100.4994
Список источников:1. Chambolle A. An algorithm for total variation minimization and applications // Journal of Mathematical Imaging and Vision. 2004. V. 20. P. 89–97. https://doi.org/10.1023/B:JMIV.0000011325.36760.1e
2. Hirschmuller H., Scharstein D. Evaluation of stereo matching costs on images with radiometric differences // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. V. 31. № 9. P. 1582–1599. https://doi.org/ 10.1109/TPAMI.2008.221
3. Li S.Z. Markov random field models in computer vision // Proceedings of the Third European Conference on Computer Vision. 1994. V. 11. P. 361–370. https://doi.org/10.1007/BFb0028368
4. Hur J., Roth S. Mirrorflow: Exploiting symmetries in joint optical flow and occlusion estimation // 2017 IEEE International Conference on Computer Vision (ICCV). 2017. P. 312–321. https://doi.org/ 10.1109/ICCV.2017.42
5. Yamaguchi K., McAllester D., Urtasun R. Efficient joint segmentation, occlusion labeling, stereo and flow estimation // European Conference on Computer Vision. 2014. P. 756–771. https://doi.org/10.1007/978-3-319-10602-1_49
6. Revaud J., Weinzaepfel P., Harchaoui Z. et al. Epicflow: Edge-preserving interpolation of correspondences for optical flow // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 1164–1172. https://doi.org/ 10.1109/CVPR.2015.7298720
7. Sun D., Yang X., Liu M.-Y. et al. Pwc-net: Cnns for optical flow using pyramid, warping, and cost volume // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. P. 8934–8943. https://doi.org/ 10.1109/CVPR.2018.00931
8. Darmon F., Monasse P. The polar epipolar rectification // Image Processing On Line. 2021. P. 56–75. https://doi.org/10.5201/ipol.2021.328
9. Raad L., Oliver M., Ballester C. et al. On anisotropic optical flow inpainting algorithms // Image Processing On Line. 2020. P. 78–104. https://doi.org/10.5201/ipol.2020.281
10. Dagobert T., Monzón N., Sánchez J. Comparison of optical flow methods under stereomatching with short baselines // Image Processing On Line. 2019. P. 329–359. https://doi.org/10.5201/ipol.2019.217
11. Rodríguez M., Facciolo G., Morel J.-M. Robust homography estimation from local affine maps // Image Processing On Line. 2023. P. 65–89. https://doi.org/10.5201/ipol.2023.356
12. Garamendi J.F., Lazcano V., Ballester C. Joint TV-L1 optical flow and occlusion estimation // Image Processing On Line. 2019. P. 432–452. https://doi.org/10.5201/ipol.2019.118
13. Dagobert T., Grompone von Gioi R., C. de Franchis et al. Cloud detection by luminance and inter-band parallax analysis for pushbroom satellite imagers // Image Processing On Line. 2020. P. 167–190. https://doi.org/10.5201/ipol.2020.271
14. Dosovitskiy A., Fischer P., Ilg E., Hausser P et al. Flownet: Learning optical flow with convolutional networks // 2015 IEEE International Conference on Computer Vision (ICCV). 2015. P. 2758–2766. https://doi.org/10.1109/ICCV.2015.316
15. Ren Z., Yan J., Ni B. et al. Unsupervised deep learning for optical flow estimation // Proceedings of the AAAI Conference on Artificial Intelligence. 2017. P. 1495–1501. V. 31. № 1. https://doi.org/10.1609/aaai.v31i1.10723
16. Ilg E., Mayer N., Saikia T. et al. Flownet 2.0: Evolution of optical flow estimation with deep networks // in Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. P. 2462–2470. https://doi.org/ 10.1109/CVPR.2017.179
17. Ranjan A., Black M.J. Optical flow estimation using a spatial pyramid network // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 2720–2729. https:doi.org/10.1109/CVPR.2017.291
18. Hui T.-W., Tang X., Loy C.C. LiteFlowNet: A lightweight convolutional neural network for optical flow estimation // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. P. 8981–8989. https://doi.org/ 10.1109/CVPR.2018.00936
19. Hur J., Roth S. Iterative residual refinement for joint optical flow and occlusion estimation // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 5747–5756. https://doi.org/ 10.1109/CVPR.2019.00590
20. Seokju C., Sunghwan H., Seungryong K. CATs++: Boosting cost aggregation with convolutions and transformers // arXiv preprint arXiv:2202.06817. 2022
21. Luo K., Wang C., Liu S. et al. Upflow: Upsampling pyramid for unsupervised optical flow learning // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 1045–1054. https://doi.org/10.1109/CVPR46437.2021.00110
22. Meister S., Hur J., Roth S. UnFlow: Unsupervised learning of optical flow with a bidirectional census loss // Thirty-Second AAAI Conference on Artificial Intelligence. 2018. V. 32. № 1. P. 7251–7259. https://doi.org/10.1609/aaai.v32i1.12276
23. Jonschkowski R., Stone A., Barron J.T. et al. What matters in unsupervised optical flow // The European Conference on Computer Vision (ECCV). 2020. V. 12347. https://doi.org/10.1007/978-3-030-58536-5_33
24. Zhong Y., Ji P., Wang J. et al. Unsupervised deep epipolar flow for stationary or dynamic scenes // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 12087–12096. https://doi.org/10.1109/CVPR.2019.01237
25. Hartley R., Zisserman A. Multiple view geometry in computer vision. N.Y.: Cambridge University Press, 2003. 607 p.