en
Назад
DOI: 10.17586/1023-5086-2024-91-11-24-33
УДК: 004.93’11
Детектор ключевых точек для гиперспектральных космических изображений
Касоев Г.Р. Детектор ключевых точек для гиперспектральных космических изображений // Оптический журнал. 2024. Т. 91. № 11. С. 24–33. http://doi.org/10.17586/1023-5086-2024-91-11-24-33
Kasoev G.R. Feature detector for space hyperspectral images [in Russian] // Opticheskii Zhurnal. 2024. V. 91. № 11. P. 24–33. http://doi.org/10.17586/1023-5086-2024-91-11-24-33
Предмет исследования. Методы поиска ключевых точек в приложении к обработке многоканальных гиперспектральных изображений, полученных аппаратурой космического базирования с оптическим разделением каналов. Цель работы. Разработка или модификация детектора ключевых точек, учитывающего специфику гиперспектральных изображений — отличия сенсоров, различный уровень интенсивности и отношения сигнал/шум в каналах. Метод. В дополнение к панхроматическому пространственному распределению интенсивности, с которым обычно работают алгоритмы детектирования ключевых точек, используется спектральная информация видимого и инфракрасного диапазонов излучения. Основные результаты. В результате литературного анализа выбран детектор, превосходящий аналоги по скорости обработки изображений — Oriented FAST and rotated BRIEF. Выявлена основная проблема, препятствующая применению данного детектора к изображениям из отдельных спектральных каналов как к изображениям в градациях серого: недостаточный контраст изображений, что приводит к детектированию низкого количества качественных ключевых точек. Увеличено количество распознанных ключевых точек путем добавления спектральной информации в алгоритм обработки. Модификация алгоритма оттестирована на данных космического гиперспектрометра Hyperion. Алгоритм сравнивается с обычным детектором Oriented FAST and rotated BRIEF совместно с гистограммной коррекцией контраста и детектором Oriented FAST and rotated BRIEF с понижением порога детектирования. Предложенная модификация точнее на 11% и быстрее в среднем на 20%. Практическая значимость. Полученный алгоритм послужит основой для совмещения изображений, полученных гиперспектральной камерой с базированием на Международной космической станции с разделенными оптическими каналами видимого и инфракрасного диапазонов излучения.
гиперспектрометр, детектор ключевых точек, признаки, сшивка изображений
Коды OCIS: 100.5760, 100.3008, 100.4145
Список источников:1. Tasseron P., van Emmerik T., Peller J., et al. Advancing floating macroplastic detection from space using experimental hyperspectral imagery // Remote Sens. 2021. V. 13. № 12. P. 2335. https://doi.org/10.3390/rs13122335
2. Григорьев А.Н., Шилин Б.В. Анализ сезонных изменений спектральных характеристик компонентов ландшафта по данным космического видеоспектрометра Hyperion // Оптический журнал. 2013. Т. 80. № 6. С. 43–47.
Grigor’ev A.N., Shilin B.V. Analysis of seasonal variations of the spectral characteristics of landscape components, using the data of the Hyperion space video spectrometer // J. Opt. Technol. 2013. V. 80. № 6. P. 360. https://doi.org/10.1364/JOT.80.000360
3. Blank V.A., Podlipnov V.V., Skidanov R.V. A dualrange diffraction grating for imaging hyperspectrometer based on the Offner scheme // J. Phys.; Conf. Ser. 2018. V. 1096. P. 012131. https://doi.org/10.1088/1742-6596/1096/1/012131
4. Pearlman J., Barry P., Segal C., et al. Hyperion, a space-based imaging spectrometer // Geoscience and Remote Sensing, IEEE Trans. 2003. V. 41. P. 1160–1173. https://doi.org/10.1109/TGRS.2003.815018
5. Щербина Г.А. Макет многощелевой космической гиперспектральной камеры дистанционного зондирования природных аквасистем // Дисс. канд. техн. наук. М.: Институт прикладной геофизики им. акад. Е.К. Фёдорова, 2018. 153 с.
Scherbina G.A. Model of space multislit hyperspectral camera for remote sensing of natural aquasystems [in Russian] // PhD (Engineering) thesis. Moscow: E.K. Fedorov Institute of Applied Geophysics, 2018. 153 p.
6. Dalal N., Triggs B. Histograms of oriented gradients for human detection // 2005 IEEE Computer Soc. Conf. Computer Vision and Pattern Recognition (CVPR'05). San Diego, CA, USA. 2005. V. 1. P. 886–893. https://doi.org/10.1109/CVPR.2005.177
7. Lowe D.G. Object recognition from local scale-invariant features // Proc. 7th IEEE Internat. Conf. Computer Vision. Kerkyra, Greece. 1999. V. 2. P. 1150–1157. https://doi.org/10.1109/ICCV.1999.790410
8. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded up robust features // Lecture Notes in Computer Sci. Berlin: Springer, 2006. V. 3951. https://doi.org/10.1007/11744023_32
9. Rosten E., Drummond T. Machine learning for highspeed corner detection // Lecture Notes in Computer Sci. Berlin: Springer, 2006. V. 3951. https://doi.org/10.1007/11744023_34
10. Rublee E., Rabaud V., Konolige K., et al. ORB: An efficient alternative to SIFT or SURF // 2011 Internat. Conf. Computer Vision. Barcelona, Spain. 2011. P. 2564–2571. https://doi.org/10.1109/ICCV.2011.6126544
11. Hong Fan, Qiang Wang, Yun Luo, et al. Abnormal railway fastener detection using minimal significant regions and local binary patterns (Обнаружение дефектов в клеммных креплениях рельсов с использованием минимальных значимых областей и локальных бинарных шаблонов) [на англ. яз.] // Оптический журнал. 2019. Т. 86. № 12. С. 65–75. http://doi.org/10.17586/1023-5086-2019-86-12-65-75
Hong F., Qiang W., Yun L., et al. Abnormal railway fastener detection using minimal significant regions and local binary patterns // J. Opt. Technol. 2019. V. 86. № 12. P. 799. http://dx.doi.org/10.1364/JOT.86. 000799
12. Abdel-Hakim A.E., Farag A.A. CSIFT: A SIFT descriptor with color invariant characteristics // 2006 IEEE Computer Soc. Conf. Computer Vision and Pattern Recognition. New York, USA. 2006. P. 1978–1983. https://doi.org/10.1109/CVPR.2006.95
13. Chu D.M., Smeulders A.W.M. Color invariant SURF in discriminative object tracking // Trends and Topics in Computer Vision: ECCV 2010. Lecture Notes in Computer Sci. Berlin, Heidelberg: Springer, 2012. V. 6554. P. 62–75. https://doi.org/10.1007/978-3-642-35740-4_6
14. Geusebroek J.M., van den Boomgaard R., Smeulders A.W.M., et al. Color invariance // IEEE Trans. Pattern Analysis and Machine Intelligence. 2001. V. 23(12). P. 1338–1350. https://doi.org/10.1109/34.977559
15. Иванов П.И., Маничев А.Э., Потапов А.С. Методы выделения контуров и описания ключевых точек при сопоставлении цветных изображений // Оптический журнал. 2010. Т. 77. № 11. С. 43–50.
Ivanov P.I., Manichev A.E., Potapov A.S. Methods of distinguishing contours and describing key points when comparing color images // J. Opt. Technol. 2010. V. 77. № 11. P. 690–696. https://doi.org/10.1364/JOT.77.000690
16. Al-Khafaji S.L., Zhou J., Zia A., et al. Spectral-spatial scale invariant feature transform for hyperspectral images // IEEE Trans. Image Proc. 2017. V. 27(2). P. 837–850. https://doi.org/10.1109/TIP.2017.2749145
17. Hong D., Wu X., Ghamisi P., et al. Invariant attribute profiles: A spatial-frequency joint feature extractor for hyperspectral image classification // IEEE Trans. Geoscience and Remote Sensing. 2020. V. 58(6). P. 3791–3808. https://doi.org/10.1109/TGRS.2019.2957251
18. Yan Z., Wu Z. Stacked local feature detector for hyperspectral image // The Internat. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sci. 2020. V. 43. P. 495–500. https://doi.org/10.5194/isprs-archives-XLIII-B3-2020-495-2020
19. Li Y., Liu W., Huang Q., et al. GA-SIFT: A new scale invariant feature transform for multispectral image using geometric algebra // Information Sci. 2014. V. 281. P. 559–572. https://doi.org/10.1016/j.ins.2013.12.022
20. Wang R., Shi Y., Cao W. GA-SURF: A new speededup robust feature extraction algorithm for multispectral images based on geometric algebra // Pattern Recognition Lett. 2019. V. 127. P. 11–17. https://doi.org/10.1016/j.patrec.2018.11.001
21. Wang R., Zhang W., Shi Y., et al. GA-ORB: A new efficient feature extraction algorithm for multispectral images based on geometric algebra // IEEE Access. 2019. V. 7. P. 71235–71244. https://doi.org/10.1109/ ACCESS.2019.2918813
22. Zhang X., Liao P., Chen G., et al. Distinguishable keypoint detection and matching for optical satellite images with deep convolutional neural networks // Internat. J. Appl. Earth Observation and Geoinformation. 2022. V. 109. P. 102795. https://doi.org/10.1016/j.jag.2022.102795
23. Shi Y., Lei J., Yin Y., et al. Discriminative feature learning with distance constrained stacked sparse autoencoder for hyperspectral target detection // IEEE Geoscience and Remote Sensing Lett. 2019. V. 16(9). P. 1462–1466. https://doi.org/10.1109/LGRS.2019.2901019
24. Ma T., Xing Y., Gong D., et al. A deep learning-based hyperspectral keypoint representation method and its application for 3D reconstruction // IEEE Access. 2022. V. 10. P. 85266–85277. https://doi.org/10.1109/ ACCESS.2022.3197183
25. Harris C., Stephens M. A combined corner and edge detector // Alvey Vision Conf. 1988. V. 15. № 50. P. 10–5244.
26. Lindeberg T. Scale-space theory in computer vision. New York: Springer New York. 424 p. https://doi.org/10.1007/978-1-4757-6465-9
27. Электронный ресурс URL: https://scikit-image.org/docs/stable/api/skimage.feature.html#skimage.feature.ORB (skimage.feature — skimage 0.22.0 documentation).
Electronic resource URL: https://scikit-image.org/docs/stable/api/skimage.feature.html#skimage.feature.ORB (skimage.feature — skimage 0.22.0 documentation).
28. Calonder M., Lepetit V., Strecha C., et al. BRIEF: Binary robust independent elementary features // Lecture Notes in Computer Sci. Berlin: Springer, 2010. V. 6314. https://doi.org/10.1007/978-3-642-15561-1_56
29. Pizer S.M., Amburn E.P., Austin J.D., et al. Adaptive histogram equalization and its variations // Computer Vision, Graphics, and Image Proc. 1987. V. 39. P. 355–368. https://doi.org/10.1016/S0734-189X(87)80186-X
30. Беляев М.Ю., Коротков Д.М., Кузьмичев А.С. и др. Дистанционное зондирование Земли с российского сегмента МКС с использованием перспективной научной аппаратуры гиперспектрометр // Тез. докл. XVII всеросс. конф. «Современные проблемы дистанционного зондирования Земли из космоса». Москва, Россия. 11–15 ноября 2019.
Belyaev M.Y., Korotkov D.M., Kuzmichev A.S., et al. Earth remote sensing using perspective scientific instrument hyperspectrometer based on the Russian segment of the ISS // XVII Rus. conf. “Current problems in remote sensing of the Earth from space” (Abstracts of reports). Moscow, Russia. November 11–15, 2019.