Deepfake как основа цифрового коллажирования «невозможного лица»

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Барабанщиков В.А., Маринова М.М. Deepfake как основа цифрового коллажирования «невозможного лица» // Оптический журнал. 2022. Т. 89. № 8. С. 24–32. http://doi.org/10.17586/1023-5086-2022-89-08-24-32

Barabanshchikov V.A., Marinova M.M. Deepfake as the basis for digitally collaging “impossible faces” [in Russian] // Opticheskii Zhurnal. 2022. V. 89. № 8. P. 24–32. http://doi.org/10.17586/1023-5086-2022-89-08-24-32

Ссылка на англоязычную версию:

V. A. Barabanshchikov and M. M. Marinova, "Deepfake as the basis for digitally collaging “impossible faces”," Journal of Optical Technology. 89(8), 448-453 (2022). https://doi.org/10.1364/JOT.89.000448

Аннотация:

Предмет исследования. Описывается инновационный метод синтезирования видеоизображений с заменой лиц Deepfake. Данная технология позволяет создавать аутентичные видеоролики с поддельными или заменёнными лицами без явных следов манипуляций. На примере ПО DeepFaceLab поэтапно описывается процесс создания видеоизображений «невозможных лиц»: химерического лица, правая и левая стороны которого принадлежат разным людям, и тэтчерезированного лица, на котором области глаз и рта повернуты на 180°. Цель работы заключается в представлении и апробации технологии Deepfake как метода цифрового коллажирования изображения «невозможного лица». Метод. Примеры реализации метода продемонстрированы на результатах проведённых экспериментов по изучению закономерностей восприятия изображений подвижных «невозможных лиц» и их отличий. Основные результаты. Показано, что зарегистрированные ранее в статике феномены восприятия воспроизводятся при экспозиции динамических моделей и приобретают новое содержание. Оригинальные лица как в статике, так и в динамике независимо от инверсии изображения оцениваются позитивно. Изображения «Невозможных лиц» во всех условиях представляются как непривлекательные, дисгармоничные, причудливые и искусственные. Экспозиции со звучащей речью усиливают адекватность оценок в условиях прямой ориентации. Практическая значимость. Метод цифрового коллажирования значительно расширяет возможности исследователей в области межличностного восприятия. Использование IT-технологий облегчает создание стимульных моделей изображения «невозможного лица», необходимых для углублённого изучения внутреннего мира человека в процессе коммуникации.

Ключевые слова:

Deepfake, машинное обучение, межличностное восприятие, видеоизображение лица, невозможное лицо, виртуальный натурщик, динамика и статика стимульной модели, химерическое лицо, тэтчеризированное лицо

Благодарность:

Работа выполнена в рамках госзадания Министерства просвещения РФ №730000Ф.99.1.БВ09АА00006.

Коды OCIS: 100.2000, 100.3008, 100.6890, 150.0155

Список источников:

1. Барабанщиков В.А., Маринова М.М., Абрамов А.Д. Виртуальная личность подвижного тэтчеризированного лица // Психологическая наука и образование. 2021. Т. 26. № 1. С. 5–18. https://doi.org/10.17759/pse.2021000001
2. Майтнер Л., Селиванов В.В. Критический анализ использования виртуальных технологий в клинической психологии в Европе (по содержанию журнала "Cyberpsychology, Behavior, and Social Networking") // Современная зарубежная психология. 2021. Т. 10. № 2. С. 36–43. https://doi.org/10.17759/jmfp.2021000001
3. Barabanschikov V.A., Marinova M.M., Abramov A.D. The virtual personality of the Thatcherized face in statics and dynamics // Neurotechnologies: Collective monograph / Ed. by Yuri Shelepin, Svetlana Alekseenko, Narisa Nan Chu. St. Petersburg: Издательство ВВМ, 2021. P. 37–49.
4. Selivanov V.V. Mental states in a high-level VR-environment // Child in the Digital World: The International Psychological Forum: Book of Abstracts. Moscow, 01–02 June 2021. M.: Московский государственный университет имени М.В. Ломоносова, Издательский Дом (типография), 2021. P. 116. https://doi.org/10.26226/morressier.618aaeaa4a84e7b4701d81d6.
5. Барабанщиков В.А., Маринова М.М. Восприятие видеоизображений химерического лица // Познание и переживание. 2020. Т. 1. № 1. С. 112–134. https://doi.org/10.51217/cogexp_2020_01_01_07
6. Барабанщиков В.А., Маринова М.М. Deepfake в исследованиях восприятия лица // Экспериментальная психология. 2021. Т. 14. № 1. С. 4–18. https://doi.org/doi:10.17759/exppsy.2021000001
7. Барабанщиков В.А., Королькова О.А. Восприятие экспрессий «живого» лица // Экспериментальная психология. 2020. Т. 13. № 3. C. 55–73. https://doi.org/10.17759/exppsy.2020130305
8. Барабанщиков В.А., Жегалло А.В. Окуломоторная активность при восприятии динамических и статических выражений лица // Экспериментальная психология. 2018. Т. 11. № 1. С. 5–34. DOI 10.17759/exppsy.2018110101
9. Perov I., Gao D., Chervoniy N., Liu K., Marangonda S., Ume C., Mr. Dpfks., Facenheim C.F., RP L., Jiang J., Zhang S., Wu P., Bo Zhou, Zhang W. DeepFaceLab: A simple, flexible and extensible face swapping framework // URL: https://arxiv.org/pdf/2005.05535.pdf (accessed: 15.01.2022)
10. Anwar S., Barnes N. Real image denoising with feature attention // IEEE International Conference on Computer Vision. Korea (South), Seoul. 27 October 2019 — 02 November 2019. P. 3155–3164. https://doi.org/10.1109/ICCV.2019.00325.
11. Bahar U.M., Afsana S. Deep insights of deepfake technology: A review // URL: https://arxiv.org/ftp/arxiv/papers/2105/2105.00192.pdf (accessed: 29.03.2022)
12. Chawla R. Deepfakes: How a pervert shook the world // International Journal of Advance Research and Development. 2019. V. 4. № 6. P. 4–8.
13. Dolhansky B., Bitton J., Pflaum B., Lu J., Howes R., Wang M., Ferrer C.C. The DeepFake detection challenge (DFDC) dataset // URL: https://arxiv.org/pdf/2006.07397.pdf (accessed: 09.02.2022)
14. Feng Z., Li Z., Cai A., Li L., Yan B., Tong L. A preliminary study on projection denoising for lowdose CT imaging using modified dualdomain Unet // 3rd International Conference on Artificial Intelligence and Big Data. Chengdu, China. 28–31 May 2020. P. 1–4.
15. Güera D., Delp E.J. Deepfake video detection using recurrent neural networks // 2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). New Zealand, Auckland. 27–30 November 2018. P. 1–6. https://doi.org/10.1109/AVSS.2018.8639163

16. Kingma D., Ba J. Adam: A method for stochastic optimization // URL: https://arxiv.org/pdf/1412.6980.pdf (accessed: 02.11.2021).
17. Mao X.J., Shen C., Yang Y.B. Image restoration using very deep convolutional encoderdecoder networks with symmetric skip connections // Advances in Neural Information Processing Systems. 2016. P. 2802–2810.
18. Maras M., Alexandrou A. Determining authenticity of video evidence in the age of artificial intelligence and in the wake of deepfake videos // International Journal of Evidence and Proof. 2018. V. 23. P. 255–262. https://doi.org/10.1177/1365712718807226
19. Zhang K., Zuo W., Chen Y., Meng D., Zhang L. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising // IEEE Transactions on Image Processing. 2017. V. 26. P. 3142–3155.