https://doi.org/10.26089/NumMet.v27r218

Распознавание фальшивых видео с подменой лица с помощью учета направления взгляда человека

Авторы

  • М. Д. Красильников
  • М. Ю. Никитин
  • А. С. Конушин

Ключевые слова:

фальшивые видео
распознавание фальшивых видео
подмена лица
оценка направления взгляда
кооперативная проверка подлинности
компьютерное зрение
машинное обучение

Аннотация

Актуальность задачи распознавания поддельных видеозаписей лица обусловлена быстрым ростом качества средств синтеза и замены лица, вследствие чего традиционные признаки подделки становятся менее устойчивыми при переносе на новые методы генерации и условия съемки. Распространенные подходы, основанные на анализе отдельных кадров, как правило, опираются на локальные визуальные артефакты, которые могут исчезать после сжатия, повторного кодирования и постобработки, а также требуют совпадения распределений обучающих и прикладных данных. Такие методы не используют информацию о поведении человека во времени и не задействуют сценарии взаимодействия с экраном. В настоящей работе предлагается кооперативный подход, в котором признаком подделки служат параметры калибровки модели оценки направления взгляда, вычисляемые по видеотреку, полученному при последовательной фиксации взгляда на предъявляемых на экране точках. На основе этих параметров обучается простой классификатор, а также рассматривается объединение этих признаков с выходами стандартных детекторов фальшивых видео. Показано, что одних параметров калибровки достаточно для уверенного разделения подлинных и синтезированных треков и в ряде настроек они превосходят детекторы, обученные только на визуальных признаках, тогда как их объединение с выходами таких детекторов обеспечивает дополнительный прирост качества. Анализ значимости признаков указывает на преобладающий вклад параметров, связанных с вертикальной составляющей направления взгляда, что согласуется с предположением о повышенной уязвимости генераторов при синтезе реалистичного вида глаз на экстремальных отклонениях вверх и вниз.


Загрузки

Опубликован

2026-05-28

Выпуск

Том 27 (2026): Выпуск 2.

Раздел

Методы и алгоритмы вычислительной математики и их приложения

Авторы

М. Д. Красильников

Московский государственный университет имени М.В. Ломоносова, факультет вычислительной математики и кибернетики

• аспирант

М. Ю. Никитин

ООО “Технологии Видеоанализа”

• ведущий исследователь

А. С. Конушин

Московский государственный университет имени М.В. Ломоносова, факультет вычислительной математики и кибернетики

• доцент

Библиографические ссылки

  1. K. Krafka, A. Khosla, P. Kellnhofer, et al., “Eye Tracking for Everyone,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), USA, Las Vegas, June 27–30, 2016(IEEE, 2016), pp. 2176–2184.
    doi 10.1109/CVPR.2016.239
  2. M. D. Krasil’nikov and M. Yu. Nikitin, “GazeT: Improved Estimation of the Three-Dimensional Vector of the Operator’s Gaze Direction,” Information processes 24 (4), 421–429 (2024).
    http://www.jip.ru/2024/421-429-2024.pdf Cited May 14, 2026.
  3. X. Zhang, Y. Sugano, M. Fritz, and A. Bulling, “MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation,” IEEE Trans. Pattern Anal. Mach. Intell. 41 (1), 162–175 (2019).
    doi 10.1109/TPAMI.2017.2778103
  4. K. A. Funes Mora, F. Monay, and J.-M. Odobez, “EYEDIAP: a Database for the Development and Evaluation of Gaze Estimation Algorithms from RGB and RGB-D Cameras,” in Proceedings of the Symposium on Eye Tracking Research and Applications(ACM, Safety Harbor Florida, 2014), pp. 255–258.
    doi 10.1145/2578153.2578190
  5. X. Zhang, S. Park, T. Beeler, et al., “ETH-XGaze: A Large Scale Dataset for Gaze Estimation Under Extreme Head Pose and Gaze Variation,” in Computer Vision –– ECCV 2020. Lecture Notes in Computer Science. Vol 12350. (Springer International Publishing, Cham, 2020), pp. 365–381.
    doi 10.1007/978-3-030-58558-7_22
  6. P. Kellnhofer, A. Recasens, S. Stent, et al., “Gaze360: Physically Unconstrained Gaze Estimation in the Wild,” in 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Korea (South), Seoul, October 27 – November 02, 2019(IEEE, 2020), pp. 6911–6920.
    doi 10.1109/ICCV.2019.00701
  7. N. H. Jabber and I. A. Hashim, “Robust Eye Features Extraction Based on Eye Angles for Efficient Gaze Classification System,” in 2018 Third Scientific Conference of Electrical Engineering (SCEE), Iraq, Baghdad, December 19–20, 2018(IEEE, 2019), pp. 13–18.
    doi 10.1109/SCEE.2018.8684107
  8. F. Vicente, Z. Huang, X. Xiong, et al., “Driver Gaze Tracking and Eyes Off the Road Detection System,” IEEE Trans. Intell. Transport. Syst. 16 (4), 2014–2027 (2015).
    doi 10.1109/TITS.2015.2396031
  9. A. George and A. Routray, “Real-Time Eye Gaze Direction Classification Using Convolutional Neural Network,” in 2016 International Conference on Signal Processing and Communications (SPCOM), India, Bangalore, June 12–15, 2016(IEEE, 2016), pp. 1–5.
    doi 10.1109/SPCOM.2016.7746701
  10. S. Park, A. Spurr, and O. Hilliges, “Deep Pictorial Gaze Estimation,” in Computer Vision – ECCV 2018. Lecture Notes in Computer Science. Vol 11217. (Springer International Publishing, Cham, 2018), pp. 741–757.
    doi 10.1007/978-3-030-01261-8_44
  11. X. Zhou, J. Jiang, Q. Liu, et al., “Learning a 3D Gaze Estimator with Adaptive Weighted Strategy,” IEEE Access 8, 82142–82152 (2020).
    doi 10.1109/ACCESS.2020.2990685
  12. Z. Chen and B. E. Shi, “Appearance-Based Gaze Estimation Using Dilated-Convolutions,” in Computer Vision – ACCV 2018. Lecture Notes in Computer Science. Vol. 11366. (Springer International Publishing, Cham, 2019), pp. 309–324.
    doi 10.1007/978-3-030-20876-9_20
  13. Y. Cheng, S. Huang, F. Wang, et al., “A Coarse-to-Fine Adaptive Network for Appearance-Based Gaze Estimation,” AAAI-20 Technical Tracks 7. 34 (07), 10623–10630 (2020).
    doi 10.1609/aaai.v34i07.6636
  14. J. He, K. Pham, N. Valliappan, et al., “On-Device Few-Shot Personalization for Real-Time Gaze Estimation,” in 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), Korea (South), Seoul, October 27–28, 2019(IEEE, 2020), pp. 1149–1158.
    doi 10.1109/ICCVW.2019.00146
  15. A. Rössler, D. Cozzolino, L. Verdoliva, et al., “FaceForensics++: Learning to Detect Manipulated Facial Images,” in 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Korea (South), Seoul, October 27 – November 02, 2019(IEEE, 2020), pp. 1–11.
    doi 10.1109/ICCV.2019.00009
  16. Y. Li, X. Yang, P. Sun, et al., “Celeb-DF: A Large-Scale Challenging Dataset for DeepFake Forensics,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), USA, Seattle, June 13–19, 2020(IEEE, 2020), pp. 3204–3213.
    doi 10.1109/CVPR42600.2020.00327
  17. B. Dolhansky, J. Bitton, B. Pflaum, et al., “The DeepFake Detection Challenge (DFDC) Dataset,”
    doi 10.48550/ARXIV.2006.07397
  18. J. Pu, N. Mangaokar, L. Kelly, et al., “Deepfake Videos in the Wild: Analysis and Detection,” in Proceedings of the Web Conference, Slovenia, Ljubljana, April 19–23, 2021(ACM, 2021), pp. 981–992.
    doi 10.1145/3442381.3449978
  19. Y. He, B. Gan, S. Chen, et al., “ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), USA, Nashville, June 20–25, 2021(IEEE, 2021), pp. 4358–4367.
    doi 10.1109/CVPR46437.2021.00434
  20. D. Afchar, V. Nozick, J. Yamagishi, and I. Echizen, “MesoNet: a Compact Facial Video Forgery Detection Network,” in 2018 IEEE International Workshop on Information Forensics and Security (WIFS), China, Hong Kong, December 11–13, 2018(IEEE, 2019), pp. 1–7.
    doi 10.1109/WIFS.2018.8630761
  21. H. H. Nguyen, J. Yamagishi, and I. Echizen, “Capsule-forensics: Using Capsule Networks to Detect Forged Images and Videos,” in ICASSP 2019 – 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Brighton, May 12–17, 2019(IEEE, 2019), pp. 2307–2311.
    doi 10.1109/ICASSP.2019.8682602
  22. Y. Qian, G. Yin, L. Sheng, et al., “Thinking in Frequency: Face Forgery Detection by Mining Frequency-Aware Clues,” in Computer Vision – ECCV 2020, Lecture Notes in Computer Science. Vol. 12357. (Springer International Publishing, Cham, 2020), pp. 86–103.
    doi 10.1007/978-3-030-58610-2_6
  23. H. Dang, F. Liu, J. Stehouwer, et al., “On the Detection of Digital Face Manipulation,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), USA, Seattle, June 13–19, 2020(IEEE, 2020), pp. 5780–5789.
    doi 10.1109/CVPR42600.2020.00582
  24. Y. Luo, Y. Zhang, J. Yan, and W. Liu, “Generalizing Face Forgery Detection with High-frequency Features,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), USA, Nashville, June 20–25, 2021(IEEE, 2021), pp. 16312–16321.
    doi 10.1109/CVPR46437.2021.01605
  25. H. Liu, X. Li, W. Zhou, et al., “Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), USA, Nashville, June 20–25, 2021(IEEE, 2021), pp. 772–781.
    doi 10.1109/CVPR46437.2021.00083
  26. Z. Yan, Y. Zhang, Y. Fan, and B. Wu, UCF: Uncovering Common Features for Generalizable Deepfake Detection.
    doi 10.48550/ARXIV.2304.13949
  27. J. Cao, C. Ma, T. Yao, et al., “End-to-End Reconstruction-Classification Learning for Face Forgery Detection,” in 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), USA, New Orleans, June 18–24, 2022(IEEE, 2022), pp. 4103–4112.
    doi 10.1109/CVPR52688.2022.00408
  28. C. R. Gerstner and H. Farid, “Detecting Real-Time Deep-Fake Videos Using Active Illumination,” in 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), USA, New Orleans, June 19–20, 2022(IEEE, 2022), pp. 53–60.
    doi 10.1109/CVPRW56347.2022.00015
  29. H. Guo, X. Wang, and S. Lyu, “Detection of Real-Time Deepfakes in Video Conferencing with Active Probing and Corneal Reflection,” in ICASSP 2023 – 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Greece, Rhodes Island, June 04–10, 2023(IEEE, 2023), pp. 1–5.
    doi 10.1109/ICASSP49357.2023.10094720
  30. G. Mittal, C. Hegde, and N. Memon, “Gotcha: Real-Time Video Deepfake Detection via Challenge-Response,” in 2024 IEEE 9th European Symposium on Security and Privacy (EuroS&P), Austria, Vienna, July 08–12, 2024(IEEE, 2024), pp. 1–20.
    doi 10.1109/EuroSP60621.2024.00009
  31. R. Chen, X. Chen, B. Ni, and Y. Ge, “SimSwap: An Efficient Framework For High Fidelity Face Swapping,” in Proceedings of the 28th ACM International Conference on Multimedia, USA, Seattle, October 12–16, 2020(ACM, 2020), pp. 2003–2011.
    doi 10.48550/arXiv.2106.06340
  32. K. Estanislao, “Deep-Live-Cam.’’
    https://github.com/hacksider/Deep-Live-Cam Cited May 16, 2026.

Лицензия

Copyright (c) 2026 М. Д. Красильников, М. Ю. Никитин, А. С. Конушин

Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.