DOI: https://doi.org/10.26089/NumMet.v25r211

Методика анализа производительности вывода глубоких нейронных сетей на примере задачи классификации изображений

Авторы

  • М. Р. Алибеков
  • Н. Е. Березина
  • Е. П. Васильев
  • И. Б. Вихрев
  • Ю. Д. Камелина
  • В. Д. Кустикова
  • З. А. Маслова
  • И. С. Мухин
  • А. К. Сидорова
  • В. Н. Сучков

Ключевые слова:

глубокое обучение
нейронные сети
вывод
производительность
MobileNetV2
Deep Learning Inference Benchmark

Аннотация

Внедрение глубоких нейронных сетей требует анализа производительности этапа вывода на целевом аппаратном обеспечении. Результаты производительности позволяют принимать решение о возможности внедрения построенных моделей и/или необходимости их предварительной оптимизации. В работе описана методика анализа и сравнения производительности вывода на примере решения задачи классификации изображений: конвертация обученной модели под разные фреймворки, анализ качества, определение оптимальных параметров запуска вывода, оптимизация модели и повторный анализ качества, анализ и сравнение производительности. Разработана система Deep Learning Inference Benchmark для поддержки цикла анализа производительности. Методика продемонстрирована на примере открытой модели MobileNetV2.

Загрузки

Опубликован

2024-04-10

Выпуск

Том 25 (2024): Выпуск 2.

Раздел

Методы и алгоритмы вычислительной математики и их приложения

Авторы

М. Р. Алибеков

Нижегородский государственный университет имени Н.И. Лобачевского
пр.Гагарина, 23, 603022, Нижний Новгород
• студент

Н. Е. Березина

ООО “Ядро Центр Исследований и Разработки”
ул. Алексеевская, д. 6/16, 603005, Нижний Новгород
• руководитель группы измерения производительности компонентов программного обеспечения искусственного интеллекта

Е. П. Васильев

Нижегородский государственный университет имени Н.И. Лобачевского
пр.Гагарина, 23, 603022, Нижний Новгород
• младший научный сотрудник

И. Б. Вихрев

ООО “Ядро Центр Исследований и Разработки”
ул. Алексеевская, д. 6/16, 603005, Нижний Новгород
• инженер по разработке программного обеспечения искусственного интеллектаа

Ю. Д. Камелина

ООО “Ядро Центр Исследований и Разработки”
ул. Алексеевская, д. 6/16, 603005, Нижний Новгород
• инженер по разработке программного обеспечения искусственного интеллектаа

В. Д. Кустикова

Нижегородский государственный университет имени Н.И. Лобачевского
пр.Гагарина, 23, 603022, Нижний Новгород
• старший научный сотрудник

З. А. Маслова

ООО “Ядро Центр Исследований и Разработки”
ул. Алексеевская, д. 6/16, 603005, Нижний Новгород
• старший инженер по разработке инфраструктуры

И. С. Мухин

Нижегородский государственный университет имени Н.И. Лобачевского
пр.Гагарина, 23, 603022, Нижний Новгород
• студент

А. К. Сидорова

Нижегородский государственный университет имени Н.И. Лобачевского
пр.Гагарина, 23, 603022, Нижний Новгород
• студент

В. Н. Сучков

Нижегородский государственный университет имени Н.И. Лобачевского
пр.Гагарина, 23, 603022, Нижний Новгород
• студент

Библиографические ссылки

  1. Open Model Zoo for OpenVINO Toolkit.
    https://docs.openvino.ai/latest/model_zoo.html . Cited March 22, 2024.
  2. GluonCV Model Zoo.
    https://cv.gluon.ai/model_zoo/index.html . Cited March 22, 2024.
  3. Deep Learning Inference Benchmark.
    https://github.com/itlab-vision/dl-benchmark . Cited March 22, 2024.
  4. V. Kustikova, E. Vasiliev, A. Khvatov, et al., “DLI: Deep Learning Inference Benchmark,” in Communications in Computer and Information Science (Springer, Cham, 2019), Vol. 1129, pp. 542-553.
    doi 10.1007/978-3-030-36592-9_44
  5. A. K. Sidorova, M. R. Alibekov, A. A. Makarov, et al., “Automating the Collection of Deep Neural Network Inference Performance Metrics in the Deep Learning Inference Benchmark System,” in Proc. XXI Int. Conf. on Mathematical Modeling and Supercomputer Technologies, Nizhny Novgorod, Russia, November 22-26, 2021 (Nizhny Novgorod University Press, Nizhny Novgorod, 2021), pp. 318-325 [in Russian].
  6. DLI: Deep Learning Inference Benchmark.
    https://hpc-education.unn.ru/dli-ru . Cited March 22, 2024.
  7. Deep Learning Inference Benchmark Wiki.
    https://github.com/itlab-vision/dl-benchmark/wiki . Cited March 22, 2024.
  8. A. Demidovskij, Yu. Gorbachev, M. Fedorov, et al., “OpenVINO Deep Learning Workbench: Comprehensive Analysis and Tuning of Neural Networks Inference,”
    https://openaccess.thecvf.com/content_ICCVW_2019/papers/SDL-CV/Gorbachev_OpenVINO_Deep_Learning_Workbench_Comprehensive_Analysis_and_Tuning_of_Neural_ICCVW_2019_paper.pdf . Cited March 22, 2024.
  9. OpenVINO Deep Learning Workbench Overview.
    https://docs.openvino.ai/latest/workbench_docs_Workbench_DG_Introduction.html . Cited March 22, 2024.
  10. Intel Distribution of OpenVINO Toolkit.
    https://docs.openvino.ai/latest/home.html . Cited March 22, 2024.
  11. O. Fagbohungbe and L. Qian, “Benchmarking Inference Performance of Deep Learning Models on Analog Devices,” in Proc. 2021 Int. Joint Conf. on Neural Networks, Shenzhen, China, July 18-22, 2021 (IEEE Press, Piscataway, 2021), pp. 1-9.
    doi 10.1109/IJCNN52387.2021.9534143
  12. P. Torelli and M. Bangale, “Measuring Inference Performance of Machine-Learning Frameworks on Edge-class Devices with the MLMark Benchmark,”
    https://www.eembc.org/techlit/articles/MLMARK-WHITEPAPER-FINAL-1.pdf . Cited March 22, 2024.
  13. EEMBC’s Machine-Learning Inference Benchmark targeted at edge devices.
    https://github.com/eembc/mlmark . Cited March 22, 2024.
  14. V. J. Reddi, C. Cheng, D. Kanter, et al., “MLPerf Inference Benchmark,”
    https://arxiv.org/abs/1911.02549 . Cited March 22, 2024.
  15. MLPerf Inference Benchmarks for Image Classification and Object Detection Tasks.
    https://github.com/mlcommons/inference . Cited March 22, 2024.
  16. E. P. Vasiliev, V. D. Kustikova, V. D. Volokitin, et al., “Performance Analysis of Deep Learning Inference in Convolutional Neural Networks on Intel Cascade Lake CPUs,” in Communications in Computer and Information Science (Springer, Cham, 2021), Vol. 1413, pp. 346-360.
    doi 10.1007/978-3-030-78759-2_29
  17. Intel Optimization for Caffe.
    https://github.com/intel/caffe . Cited March 22, 2024.
  18. TensorFlow.
    https://pypi.org/project/intel-tensorflow . Cited March 22, 2024.
  19. TensorFlow Lite.
    https://www.tensorflow.org/lite . Cited March 22, 2024.
  20. MXNet.
    https://mxnet.apache.org . Cited March 22, 2024.
  21. OpenCV.
    https://opencv.org . Cited March 22, 2024.
  22. ONNX Runtime.
    https://onnxruntime.ai . Cited March 22, 2024.
  23. M. Sandler, A. Howard, M. Zhu, et al., “MobileNetV2: Inverted Residuals and Linear Bottlenecks,”
    https://arxiv.org/abs/1801.04381 . Cited March 22, 2024.
  24. ImageNet.
    https://www.image-net.org . Cited March 22, 2024.
  25. OpenVINO Toolkit - Open Model Zoo repository.
    https://github.com/openvinotoolkit/open_model_zoo . Cited March 22, 2024.
  26. TensorFlow Hub. Mobilenet V2 trained on Imagenet.
    https://tfhub.dev/iree/lite-model/mobilenet_v2_100_224/uint8/1 . Cited March 22, 2024.
  27. Intel Launches World’s Best Processor for Thin-and-Light Laptops: 11th Gen Intel Core.
    https://www.intc.com/news-events/press-releases/detail/1411/intel-launches-worlds-best-processor-for-thin-and-light . Cited March 22, 2024.

Лицензия

Copyright (c) 2024 М. Р. Алибеков, Н. Е. Березина, Е. П. Васильев, И. Б. Вихрев, Ю. Д. Камелина, В. Д. Кустикова, З. А. Маслова, И. С. Мухин, А. К. Сидорова, В. Н. Сучков

Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.