Сравнение эффективности различных методов предварительной обработки данных спектрометрирования для прогнозирования содержания органического углерода почв

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Чинилин А.В., Савин И.Ю. Сравнение эффективности различных методов предварительной обработки данных спектрометрирования для прогнозирования содержания органического углерода почв // Оптический журнал. 2018. Т. 85. № 12. С. 60–68. http://doi.org/10.17586/1023-5086-2018-85-12-60-68

Chinilin A.V., Savin I.Yu. Comparison of the effectiveness of various ways of preprocessing spectrometric data in order to predict the concentration of organic soil carbon [in Russian] // Opticheskii Zhurnal. 2018. V. 85. № 12. P. 60–68. http://doi.org/10.17586/1023-5086-2018-85-12-60-68

Ссылка на англоязычную версию:

A. V. Chinilin and I. Yu. Savin, "Comparison of the effectiveness of various ways of preprocessing spectrometric data in order to predict the concentration of organic soil carbon," Journal of Optical Technology. 85(12), 789-795 (2018). https://doi.org/10.1364/JOT.85.000789

Аннотация:

Проведено исследование эффективности применения ряда методов предварительной обработки данных спектрометрирования в диапазоне длин волн 325–1075 нм для прогнозирования содержания органического углерода почв. Методы предварительной обработки спектральных данных (фильтрация скользящим средним, сглаживание Савицкого–Голея, расчёт первой и второй производных и масштабирование) были последовательно применены к спектральным данным почв (в естественном сложении и растёртых) для повышения надёжности и результативности моделей. В соответствии с критерием максимального значения коэффициента детерминации и минимального значения корня среднеквадратической ошибки при перекрёстной проверке наилучшим методом прогнозирования органического углерода почв оказался метод регрессии частных наименьших квадратов при вычислении первых производных от исходных спектров (R2cv = 0,758, RMSEcv = 0,492).

Ключевые слова:

спектроскопия почв, спектральная отражательная способность, прогнозирование, регрессия

Благодарность:

Исследования выполнены при поддержке гранта РФФИ 18-016-00052 с использованием оборудования Центра коллективного пользования: «Функции и свойства почв и почвенного покрова» Почвенного института им. В.В. Докучаева.

Коды OCIS: 280.4788, 300.6190, 300.6340, 300.6490, 300.6550

Список источников:

1. Семенов В.М., Когут Б.М. Почвенное органическое вещество. М: ГЕОС, 2015. 233 с.
2. Борисов Б.А., Ганжара Н.Ф. О рганическое в ещество почв (генетическая и а грономическая оценка). М: Изд-во РГАУ-МСХА, 2015. 214 с.
3. McBratney A.B., Field D.J., Koch A. The dimensions of soil security // Geoderma. 2014. Т. 213. С. 203–213. DOI: 10.1016/j.geoderma.2013.08.013.
4. Minasny B., McBratney A.B. Regression rules as a tool for predicting soil properties from infrared reflectance spectroscopy // Chemom. Intell. Lab. Syst. 2008. Т. 94. № 1. С. 72–79. DOI: 10.1016/j.chemolab.2008.06.003.
5. Viscarra Rossel R.A., Walvoort D.J.J., McBratney A.B., Janik L.J., Skjemstad J.O. Visible, near infrared, mid infrared or combined diffuse reflectance spectroscopy for simultaneous assessment of various soil properties // Geoderma. 2006. Т. 131. № 1–2. С. 59–75. DOI: 10.1016/j.geoderma.2005.03.007.
6. Rossel R.A.V., Behrens T. Using data mining to model and interpret soil diffuse reflectance spectra // Geoderma. 2010. Т. 158. № 1–2. С. 46–54. DOI: 10.1016/j.geoderma.2009.12.025.
7. Dor E. Ben, Ong C., Lau I.C. Reflectance measurements of soils in the laboratory: Standards and protocols // Geoderma. 2015. Т. 245–246. DOI: 10.1016/j.geoderma.2015.01.002.
8. Viscarra Rossel R.A.A., Behrens T., Ben-Dor E., Demattê J.A.M., Adamchuk V., Bayer A.D.D. A global spectral library to characterize the world’s soil // Earth-Science Rev. 2016. Т. 155. С. 198–230. DOI: 10.1016/j.earscirev.2016.01.012.
9. Dotto A.C., Dalmolin R.S.D., Grunwald S., ten Caten A., Pereira Filho W. Two preprocessing techniques to reduce model covariables in soil property predictions by Vis-NIR spectroscopy // Soil Tillage Res. 2017. Т. 172. С. 59–68. DOI:10.1016/j.still.2017.05.008.
10. Gholizadeh A., Borůvka L., Saberioon M.M., Kozák J., Vašát R., Němeček K. Comparing different data preprocessing methods for monitoring soil heavy metals based on soil spectral features // Soil Water Res. 2016. Т. 10. № No. 4. С. 218–227. DOI: 10.17221/113/2015-SWR.
11. Орлов Д.С., Суханова Н.И., Розанова М.С. Спектральная отражательная способность почв и их компонентов. М: Изд-во Моск. ун-та, 2001. 176 с.
12. Volkan Bilgili A., van Es H.M., Akbas F., Durak A., Hively W.D. Visible-near infrared reflectance spectroscopy for assessment of soil properties in a semi-arid area of Turkey // J. Arid Environ. 2010. Т. 74. № 2. С. 229–238. DOI: 10.1016/j.jaridenv.2009.08.011.
13. Vasques G.M., Grunwald S., Sickman J.O. Comparison of multivariate methods for inferential modeling of soil carbon using visible/near-infrared spectra // Geoderma. 2008. Т. 146. № 1–2. С. 14–25. DOI: 10.1016/j.geoderma.2008.04.007.
14. Peng X., Shi T., Song A., Chen Y., Gao W. Estimating soil organic carbon using VIS/NIR spectroscopy with SVMR and SPA methods // Remote Sens. 2014. Т. 6. № 4. С. 2699–2717. DOI: 10.3390/rs6042699.
15. Muñoz J.D., Kravchenko A. Soil carbon mapping using on-the-go near infrared spectroscopy, topography and aerial photographs // Geoderma. 2011. Т. 166. № 1. С. 102–110. DOI: 10.1016/j.geoderma.2011.07.017.
16. Dotto A.C., Dalmolin R.S.D., ten Caten A., Grunwald S. A systematic study on the application of scatter-correctiveand spectral-derivative preprocessing for multivariate prediction of soil organic carbon by Vis-NIR spectra // Geoderma. 2018. Т. 314. С. 262–274. DOI: 10.1016/j.geoderma.2017.11.006.
17. Conforti M., Castrignanò A., Robustelli G., Scarciglia F., Stelluti M., Buttafuoco G. Laboratory-based Vis–NIR spectroscopy and partial least square regression with spatially correlated errors for predicting spatial variation of soil organic matter content // CATENA. 2015. Т. 124. С. 60–67. DOI: 10.1016/j.catena.2014.09.004.
18. Knox N.M., Grunwald S., McDowell M.L., Bruland G.L., Myers D.B., Harris W.G. Modelling soil carbon fractions with visible near-infrared (VNIR) and mid-infrared (MIR) spectroscopy // Geoderma. 2015. Т. 239–240. С. 229–239. DOI: 10.1016/j.geoderma.2014.10.019.
19. Kuang B., Tekin Y., Mouazen A.M. Comparison between artificial neural network and partial least squares for on-line visible and near infrared spectroscopy measurement of soil organic carbon, pH and clay content // Soil Tillage Res. 2015. Т. 146. С. 243–252. DOI: 10.1016/j.still.2014.11.002.
20. Bayer A., Bachmann A., Muller A., Kaufmann H. A comparison of feature-based MLR and PLS regression techniques for the prediction of three soil constituents in a degraded South African Ecosystem // Appl. Environ. Soil Sci. 2012. Т. 2012. С. 1–20. DOI: 10.1155/2012/971252.
21. Chang C.-W., Laird D.A., Mausbach M.J., Hurburgh C.R. Near-infrared reflectance spectroscopy – principal components regression analyses of soil properties // Soil Sci. Soc. Am. J. 2001. Т. 65. № 2. С. 480. DOI: 10.2136/sssaj2001.652480x.
22. Wang Y., Huang T., Liu J., Lin Z., Li S. Soil pH value, organic matter and macronutrients contents prediction using optical diffuse reflectance spectroscopy // Comput. Electron. Agric. 2015. Т. 111. С. 69–77. DOI: 10.1016/j.compag.2014.11.019.
23. Terra F.S., Demattê J.A.M.M., V iscarra R ossel R .A. Spectral l ibraries for quantitative a nalyses o f t ropical B razilian soils: comparing vis–NIR and mid-IR reflectance data // Geoderma. 2015. Т. 255–256. С. 81–93. DOI: 10.1016/j.geoderma.2015.04.017.

24. Добровольский Г.В., Урусевская И.С. География почв. М: МГУ, 2015. 458 с.
25. Классификация и диагностика почв СССР. М: Колос, 1977. 221 с.
26. Xie X.-L., Pan X.-Z., Sun B. Visible and near-infrared diffuse reflectance spectroscopy for prediction of soil properties near a copper smelter // Pedosphere. 2012. Т. 22. № 3. С. 351–366. DOI: 10.1016/S1002-0160(12)60022-8.
27. Savitzky A., Golay M.J.E. Smoothing and differentiation of data by simplified least squares procedures // Anal. Chem. 1964. Т. 36. № 8. С. 1627–1639.
28. R. Core Team. R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria // 2018. URL https://www.R-project.org/.
29. Kuhn M. Building predictive models in R using the caret package // J. Stat. Softw. 2008. Т. 28. № 5. DOI: 10.18637/jss.v028.i05.
30. Прудникова Е.Ю., Савин И.Ю. Исследование оптических свойств открытой поверхности почв // Оптический журнал. 2016. Т. 83. № 10. С. 79–86.
31. Савин И.Ю., Прудникова Е.Ю. Об оптимальном сроке спутниковой съемки для картографирования пахотных почв // Бюллетень Почвенного института им. В.В. Докучаева. 2014. № 74. С. 66–77.
32. Lagacherie P., Baret F., Feret J-B., Madeira Netto J., Robbez-Masson J.M. Estimation of soil clay and calcium carbonate using laboratory, field and airborne hyperspectral measurements // Remote Sens. Environ. 2008. Т. 112. № 3. С. 825–835. DOI: 10.1016/j.rse.2007.06.014.