en
Назад
DOI: 10.17586/1023-5086-2024-91-10-106-118
УДК: 612.82, 004.94
Объединение данных в нейровизуализации методами решения обратной задачи магнитои электроэнцефалографии. Обзор
Жданов А.Ю., Рыжова В.А., Коротаев В.В., Морозов С.А., Кравцов П.А., Хлынов Р.Д. Объединение данных в нейровизуализации методами решения обратной задачи магнито- и электроэнцефалографии. Обзор // Оптический журнал. 2024. Т. 91. № 10. С. 106–118. http://doi.org/10.17586/1023-5086-2024-91-10-106-118
Zhdanov A.Y., Ryzhova V.A., Korotaev V.V., Morozov S.A., Kravtsov P.A., Khlynov R.D. Data fusion in solving inverse magneto- and electroencephalography problem for neuroimaging. Review [in Russian] // Opticheskii Zhurnal. 2024. V. 91. № 10. P. 106–118. http:// doi.org/10.17586/1023-5086-2024-91-10-106-118
Предмет исследования. Методы объединения данных функциональной нейровизуализации и алгоритмы их асимметричной обработки для решения обратной задачи магнито- и электроэнцефалографии. Цель работы. Cоставление аналитического обзора методов обработки данных нейровизуализации для демонстрации возможностей снижения погрешностей оценки величины активности источников сигналов мозговой активности, полученных традиционными методами магнито- и электроэнцефалографии с использованием совместной обработки данных магнито- и электроэнцефалографии и данных функциональной ближней инфракрасной спектроскопии или функциональной магнито-резонансной томографии. Метод. Теоретический анализ уравнений, описывающих обратную задачу магнито-электроэнцефалографии, критический обзор литературы, содержащей примеры использования мультимодальных данных при решении обратной задачи магнито- и электроэнцефалографии. Основные результаты. Определены способы использования априорной информации о мозговой активности при решении обратной задачи магнито- и электроэнцефалографии. Доказана необходимость применения асимметричного подхода к обработке мультимодальных данных для снижения погрешности оценки пространственного распределения мозговой активности. Практическая значимость. Результаты данной статьи могут быть полезны при проектировании систем мультимодальной нейровизуализации, а также при использовании таких систем.
обратная задача, магнитоэнцефалография, электроэнцефалография, мультимодальная нейровизуализация, нейронная активность, локализация источников
Благодарность:работа поддержана средствами федерального бюджета в рамках государственного задания ФГБУН Института физиологии им. И.П. Павлова РАН (№ 1021062411653-4-3.1.8)
Коды OCIS: 170.0170, 110.0110, 330.0330
Список источников:1. Шелепин Ю.Е., Луцив В.Р., Коротаев В.В. Оптические технологии и зрительная картина мира: иконика и нейроиконика // Оптический журнал. 2022. Т. 89. № 8. С. 3–7. https://doi.org/10.17586/1023-5086-2022-89-08-03-07
Shelepin Yu.E., Lutsiv V.R., Korotaev V.V. Optical technologies and the visual picture of the world: iconics and neuroiconics // Journal of Optical Technology. 2022. V. 89(8). P. 434–436. https://doi.org/10.1364/JOT.89.000434
2. Хараузов А.К., Васильев П.П., Соколов А.В., Фокин В.А., Шелепин Ю.Е. Анализ изображений функциональной магнитно-резонансной томографии головного мозга человека в задачах распознавания текстур // Оптический журнал. 2018. Т. 85. № 8. С. 22–28. https://doi.org/10.17586/1023-5086-2018-85-08-22-28
Kharauzov A.K., Vasil’ev P.P., Sokolov A.V., Fokin V.A., Shelepin Yu.E. Functional magnetic resonance imaging analysis of the human brain in texture recognition tasks // Journal of Optical Technology. 2018. V. 85(8). P. 463–467. https://doi.org/10.1364/JOT.85.000463
3. Жукова О.В., Шелепин Ю.Е., Щемелева О.В., Васильев П.П., Моисеенко Г.А. Воздействие вербальных и невербальных сигналов на электроэнцефалограмму собеседника // Оптический журнал. 2018. Т. 85. № 8. С. 13–21. https://doi.org/10.17586/1023-5086-2018-85-08-13-21
Shchemeleva O.V., Vasil’ev P.P., Moiseenko G.A. Influence of verbal and nonverbal signals on an interlocutor’s electroencephalogram // Journal of Optical Technology. 2018. V. 85(8). P. 455–462. https://doi.org/10.1364/JOT.85.000455
4. Association. A.S. 2022. 2018 Alzheimer's disease facts and figures // First published: 14 March 2022 https:// doi.org/10.1002/alz.12638
5. Shih J.J., Krusienski D.J., Wolpaw J.R. Braincomputer interfaces in medicine // Mayo Clin Proc. 2012. V. 87(3). P. 268–279. https://doi.org/10.1016/ j.mayocp.2011.12.008
6. Du B., Cheng X., Duan Y., Ning H. fMRI brain decoding and its applications in brain–computer interface: A survey // Brain Sciences. 2022. V. 12(2). P. 228. https://doi.org/10.3390/brainsci12020228
7. Min B.K., Marzelli M.J., Yoo S.S. Neuroimagingbased approaches in the brain-computer interface // Trends Biotechnol. 2010. V. 28(11). P. 552–60. https:// doi.org/10.1016/j.tibtech.2010.08.002
8. Ranganatha Sitaram 1 , Andrea Caria, Ralf Veit, Tilman Gaber, Giuseppina Rota, Andrea Kuebler, Niels Birbaumer. fMRI brain-computer interface: A tool for neuroscientific research and treatment // Computational Intelligence and Neuroscience. 2007. P. 25487. https://doi.ru/10.1155/2007/25487
9. Majkowski A., Oskwarek L., Kolodziej M., Rak R.J. An attempt to localize brain electrical activity sources using EEG with limited number of electrodes, biocybernetics and biomedical engineering // Biocybernetics and Biomedical Engineering. 2016. V. 36. № 4. P. 686–696. https://doi.org/10.1016/j.bbe.2016.07.002
10. Ryynänen O.R., Hyttinen J.A., Laarne P.H., Malmivuo J.A. Effect of electrode density and measurement noise on the spatial resolution of cortical potential distribution. // IEEE Trans Biomed Eng. 2004 V. 51(9). P. 1547–54. https://doi.org/10.1109/TBME.2004.828036
11. Liu Z., Ding L., He B. Integration of EEG/MEG with MRI and fMRI // IEEE Eng Med Biol Mag. 2006. Jul-Aug. V. 25(4). P. 46–53. https://doi.org/10.1109/ memb.2006.1657787
12. Mele G., Cavaliere C., Alfano V., Orsini M., Salvatore M., Aiello M. Simultaneous EEG-fMRI for functional neurological assessment // Front Neurol. 2019. Aug 13. P. 10:848. https://doi.org/10.3389/fneur.2019.00848
13. Warbrick T. Simultaneous EEG-fMRI: What have we learned and what does the future hold? // Sensors (Basel). 2022. Mar 15. V. 22(6). P. 2262. https://doi.org/10.3390/s22062262
14. Mullinger K., Bowtell R. Combining EEG and fMRI // Methods Mol Biol. 2011. V. 711:303–26. https://doi.org/10.1007/978-1-61737-992-5_15
15. Poudel G.R., Jones R.D. Multimodal neuroimaging with simultaneous fMRI and EEG // In: Thakor N.V. (eds). Handbook of Neuroengineering. Christchurch, New Zealand: Springer, 2022. 22 p. https://doi.org/ 10.1007/978-981-15-2848-4_81-1
16. Wirsich J., Jorge J., Iannotti G.R., Shamshiri E.A., Grouiller F., Abreu R., Lazeyras F., Giraud A.L., Gruetter R., Sadaghiani S., Vulli moz S. The relationship between EEG and fMRI connectomes is reproducible across simultaneous EEG-fMRI studies from 1.5T to 7T // Neuroimage. 2021. May 1. P. 231:117864 https://doi.org/10.1016/j.neuroimage.2021.117864.
17. Ritter P., Villringer A. Simultaneous EEG-fMRI // Neurosci Biobehav Rev. 2006. V. 30(6). P. 823–38. https://doi.org/10.1016/j.neubiorev.2006.06.008
18. Li R., Yang D., Fang F., Hong K.S., Reiss A.L., Zhang Y. Concurrent fNIRS and EEG for brain function investigation // A Systematic, Methodology-Focused Review. Sensors (Basel). 2022. Aug 5. V. 22(15). V. 5865. https://doi.org/10.3390/s22155865
19. Su W.C., Dashtestani H., Miguel H.O., Condy E., Buckley A., Park S., Perreault J.B., Nguyen T., Zeytinoglu S., Millerhagen J., Fox N., Gandjbakhche A. Simultaneous multimodal fNIRS-EEG recordings reveal new insights in neural activity during motor execution, observation, and imagery // Sci Rep. 2023. Mar 29. V. 13(1). P. 5151. https://doi.org/10.1038/s41598-023-31609-5
20. Li R., Nguyen T., Potter T., Zhang Y. Dynamic cortical connectivity alterations associated with Alzheimer's disease: An EEG and fNIRS integration study // NeuroImage: Clinical Volume 21. 2019. P. 101622. https://doi.org/10.1016/j.nicl.2018.101622
21. Mele G., Cavaliere C., Alfano V., Orsini M., Salvatore M., Aiello M. Simultaneous EEG-fMRI for functional neurological assessment // Front Neurol. 2019. Aug 13. V. 10. P. 848. https://doi.org/10.3389/fneur.2019.00848
22. Abreu R., Leal A., Figueiredo P. EEG-Informed fMRI: A review of data analysis. Methods. Front Hum Neurosci. 2018. Feb 6. V. 12. P. 29. https://doi.org/10.3389/ fnhum.2018.00029
23. Dale A.M., Sereno M.I. Improved localizadon of cortical activity by combining EEG and MEG with MRI cortical surface reconstruction: A linear approach // J Cogn Neurosci. 1993. Spring. V. 5(2). P. 162–76. https://doi.org/10.1162/jocn.1993.5.2.162
24. McKeown M.J., Hansen L.K., Sejnowski T.J. Independent component analysis of functional MRI: what is signal and what is noise? // Curr Opin Neurobiol. 2003. Oct. V. 13(5). P. 620–629. https://doi.org/10.1016/ j.conb.2003.09.012
25. Tang Y., Li W., Tao L., Li J., Long T., Li Y., Chen D., Hu S. Machine learning-derived multimodal neuroimaging of presurgical target area to predict individual's seizure outcomes after epilepsy surgery // Front Cell Dev Biol. 2022. Jan 21. V. 9:669795. https://doi.org/10.3389/fcell.2021.669795
26. Tulay E.E., Metin B., Tarhan N., Arıkan M.K. Multimodal neuroimaging: Basic concepts and classification of neuropsychiatric diseases // Clin EEG Neurosci. 2019. Jan. V. 50(1). P. 20–33. https://doi.org/10.1177/1550059418782093
27. Uludağ K., Roebroeck A. General overview on the merits of multimodal neuroimaging data fusion // Neuroimage. 2014. Nov. 15. V. 102. Pt. 1:3–10. https://doi.org/10.1016/j.neuroimage.2014.05.018
28. Belaoucha B., Lina J.M., Clerc M., Papadopoulo T. MEM-diffusion MRI framework to solve MEEG inverse problem // European Signal Processing Conference. 2015. (EUSIPCO 2015) August 2015. https://doi. org/10.1109/EUSIPCO.2015.7362709
29. Zhang Y.D., Dong Z., Wang S.H., Yu X., Yao X., Zhou Q., Hu H., Li M., Jim nez-Mesa C., Ramirez J., Martinez F.J., Gorriz J.M. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation // Inf Fusion. 2020. Dec. V. 64. P. 149–187. https://doi.org/10.1016/j.inffus.2020.07.006
30. Calhoun V.D., Sui J. Multimodal fusion of brain imaging data: A key to finding the missing link(s) in complex mental illness // Biol Psychiatry Cogn Neurosci Neuroimaging. 2016. May. V. 1(3). P. 230–244. https:// doi.org/10.1016/j.bpsc.2015.12.005
31. Li R., Yang D., Fang F., Hong K. Concurrent fNIRS and EEG for brain function investigation: A systematic, methodology-focused review // Sensors (Basel). 2022 Aug. V. 22(15). P. 5865. https://doi.org/10.3390/s22155865
32. Nguyen T., Potter T., Grossman R., Zhang Y. Characterization of dynamic changes of current source localization based on spatiotemporal fMRI constrained EEG source imaging // J Neural Eng. 2018 Jun. V. 15(3). P. 036017. https://doi.org/10.1088/1741-2552/aa9fb2
33. Lystad R.P., Pollard H. Functional neuroimaging: a brief overview and feasibility for use in chiropractic research // J Can Chiropr Assoc. 2009. Mar. V. 53(1). P. 59–72.
34. Lin J., Lu J., Shu Z., Yu N., Han J. An EEG-informed hemodynamic response modeling method for fNIRS signals // 2022 International Conference on Advanced Robotics and Mechatronics (ICARM). Guilin. China. 2022. P. 617–622. https://doi.org/10.1109/ICARM54641.2022.9959633
35. Moretti D.V., Paternicò D., Binetti G., Zanetti O., Frisoni G.B. EEG markers are associated to gray matter changes in thalamus and basal ganglia in subjects with mild cognitive impairment. // Neuroimage. 2012 Mar. V. 60(1). P. 489–96. https://doi.org/10.1016/ j.neuroimage.2011.11.086
36. Gramfort A., Luessi M., Larson E., Engemann D.A., Brodbeck C., Goj R., Jas M., Brooks T., Parkkonen L., Hämäläinen M.S. MEG and EEG data analysis with MNEPython // Frontiers in Neuroscience. 2013. V. 7(267). P. 1–13. https://doi.org/10.3389/fnins.2013.00267
37. Larson E., Gramfort A., Engemann D.A., Leppakangas J., Brodbeck C., Jas M., Brooks T., Sassenhagen J., Luessi M., McCloy D., King J.-R., Höchenberger R., Goj R., Favelier G., Brunner C., van Vliet M., Wronkiewicz M., Holdgraf C., Rockhill A. // MNE-Python (v1.6.1). 2024. Zenodo. https://doi.org/10.5281/zenodo. 10519948
38. Hämäläinen M.S., Ilmoniemi R.J. Interpreting magnetic fields of the brain: minimum norm estimates // Med Biol Eng Comput. 1994. V. 32. P. 35–42.
39. Michel C.M., Brunet D. EEG source imaging: A practical review of the analysis steps // Front Neurol. 2019. Apr V. 4. P. 10:325. https://doi.org/10.3389/fneur.2019.00325
40. Moridera T., Rashed E.A., Mizutani S., Hirata A. High-resolution EEG source localization in segmentation-free head models based on finite-difference method and matching pursuit algorithm // Front Neurosci. 2021. Jun. V. 28. P. 15:695668. https://doi.org/ 10.3389/fnins.2021.695668
41. Sasayama T., Iida T., Oida T., Hamada S., Kobayashi T. Construction of human head voxel models from MR images for EEG analysis based on EM algorithm // IEEE/ICME International Conference on Complex Medical Engineering. Gold Coast. QLD. Australia. 2010. P. 100–105. https://doi.org/10.1109/ICCME.2010.5558863
42. Leite M., Leal A., Figueiredo P. Transfer function between EEG and BOLD signals of epileptic activity // Front Neurol. 2013. Jan 25. P. 4:1. https://doi.org/ 10.3389/fneur.2013.00001
43. Zakharova T.V. The inverse ill-posed problem of magnetoencephalography // J Math Sci. 2020. V. 246. P. 587–591. https://doi.org/10.1007/s10958-020-04764-7
44. Kabanikhin S.I. Definitions and examples of inverse and ill-posed problems // J. Inv. Ill-Posed Problems. 2008. V. 16. P. 317–357. https://doi.org/10.1515/JIIP.2008.069
45. Lin F.H., Witzel T., Ahlfors S.P., Stufflebeam S., Belliveau J.W., Hämäläinen M.S. Assessing and improving the spatial accuracy in MEG source localization by depth-weighted minimum-norm estimates // Neuroimage. 2006. May 15. V. 31(1). P. 160–71. https://doi.org/10.1016/j.neuroimage.2005.11.054
46. Oikonomou V.P., Kompatsiaris I. A novel bayesian approach for EEG source localization // Comput Intell Neurosci. 2020. Oct 30. P. 2020:8837954. https://doi.org/10.1155/2020/8837954
47. Lei X., Xu P., Chen A., Yao D. Gaussian source model based iterative algorithm for EEG source imaging // Comput Biol Med. 2009. Nov. V. 39(11). P. 978–88. https://doi.org/10.1016/j.compbiomed.2009.07.012
48. Cottereau B.R., Ales J.M., Norcia A.M. How to use fMRI functional localizers to improve EEG/MEG source estimation // J Neurosci Methods. 2015. Jul 30. V. 250:64–73. https://doi.org/10.1016/j.jneumeth.2014.07.015
49. Ou W., Nummenmaa A., Golland P., Hamalainen M.S. Multimodal functional imaging using fMRI-informed regional EEG/MEG source estimation // Annu Int Conf IEEE Eng Med Biol Soc. 2009. V. 1926–9. https:// doi.org/10.1109/IEMBS.2009.5333926
50. Li W., Zhang W., Jiang Z., Zhou T., Xu S., Zou L. Source localization and functional network analysis in emotion cognitive reappraisal with EEG-fMRI integration // Front Hum Neurosci. 2022. Aug 12. V. 16:960784. https://doi.org/10.3389/fnhum.2022.960784
51. Shiraishi H., Ahlfors S.P., Stufflebeam S.M., Knake S., Larsson P.G., Hämäläinen M.S., Takano K., Okajima M., Hatanaka K., Saitoh S., Dale A.M., Halgren E. Comparison of three methods for localizing interictal epileptiform discharges with magnetoencephalography // J Clin Neurophysiol. 2011. Oct. V. 28(5). P. 431–40. https://doi.org/10.1097/WNP. 0b013e318231c86f
52. Carboni M., Brunet D., Seeber M., Michel C.M., Vulliemoz S., Vorderwülbecke B.J. Linear distributed inverse solutions for interictal EEG source localisation // Clin Neurophysiol. 2022. Jan. V. 133. P. 58–67. https:// doi.org/10.1016/j.clinph.2021.10.0088
53. Ke Liu, Zhu Liang Yu, Wei Wu, Xun Chen, Zhenghui Gu, Cuntai Guan. fMRI-SI-STBF: An fMRI-informed Bayesian electromagnetic spatio-temporal extended source imaging // Neurocomputing. 2021. V. 462. P. 14–30. https://doi.org/10.1016/j.neucom.2021.06.066
54. Dale A.M., Liu A.K., Fischl B.R., Buckner R.L., Belliveau J.W., Lewine J.D., Halgren E. Dynamic statistical parametric mapping: combining fMRI and MEG for high-resolution imaging of cortical activity // Neuron. 2000. Apr. V. 26(1). P. 55–67. https://doi.org/10.1016/ s0896-6273(00)81138-1
55. Pascual-Marqui R.D. Standardized low-resolution brain electromagnetic tomography (sLORETA): technical details // Methods Find Exp Clin Pharmacol. 2002. 24 Suppl D:5-12.