DOI: https://doi.org/10.26089/NumMet.v25r211
Методика анализа производительности вывода глубоких нейронных сетей на примере задачи классификации изображений
Авторы
-
М. Р. Алибеков
-
Н. Е. Березина
-
Е. П. Васильев
-
И. Б. Вихрев
-
Ю. Д. Камелина
-
В. Д. Кустикова
-
З. А. Маслова
-
И. С. Мухин
-
А. К. Сидорова
-
В. Н. Сучков
Ключевые слова:
глубокое обучение
нейронные сети
вывод
производительность
MobileNetV2
Deep Learning Inference Benchmark
Аннотация
Внедрение глубоких нейронных сетей требует анализа производительности этапа вывода на целевом аппаратном обеспечении. Результаты производительности позволяют принимать решение о возможности внедрения построенных моделей и/или необходимости их предварительной оптимизации. В работе описана методика анализа и сравнения производительности вывода на примере решения задачи классификации изображений: конвертация обученной модели под разные фреймворки, анализ качества, определение оптимальных параметров запуска вывода, оптимизация модели и повторный анализ качества, анализ и сравнение производительности. Разработана система Deep Learning Inference Benchmark для поддержки цикла анализа производительности. Методика продемонстрирована на примере открытой модели MobileNetV2.
Загрузки
Опубликован
2024-04-10
Выпуск
Раздел
Методы и алгоритмы вычислительной математики и их приложения
Библиографические ссылки
- Open Model Zoo for OpenVINO Toolkit.
https://docs.openvino.ai/latest/model_zoo.html . Cited March 22, 2024. - GluonCV Model Zoo.
https://cv.gluon.ai/model_zoo/index.html . Cited March 22, 2024. - Deep Learning Inference Benchmark.
https://github.com/itlab-vision/dl-benchmark . Cited March 22, 2024. - V. Kustikova, E. Vasiliev, A. Khvatov, et al., “DLI: Deep Learning Inference Benchmark,” in Communications in Computer and Information Science (Springer, Cham, 2019), Vol. 1129, pp. 542-553.
doi 10.1007/978-3-030-36592-9_44 - A. K. Sidorova, M. R. Alibekov, A. A. Makarov, et al., “Automating the Collection of Deep Neural Network Inference Performance Metrics in the Deep Learning Inference Benchmark System,” in Proc. XXI Int. Conf. on Mathematical Modeling and Supercomputer Technologies, Nizhny Novgorod, Russia, November 22-26, 2021 (Nizhny Novgorod University Press, Nizhny Novgorod, 2021), pp. 318-325 [in Russian].
- DLI: Deep Learning Inference Benchmark.
https://hpc-education.unn.ru/dli-ru . Cited March 22, 2024. - Deep Learning Inference Benchmark Wiki.
https://github.com/itlab-vision/dl-benchmark/wiki . Cited March 22, 2024. - A. Demidovskij, Yu. Gorbachev, M. Fedorov, et al., “OpenVINO Deep Learning Workbench: Comprehensive Analysis and Tuning of Neural Networks Inference,”
https://openaccess.thecvf.com/content_ICCVW_2019/papers/SDL-CV/Gorbachev_OpenVINO_Deep_Learning_Workbench_Comprehensive_Analysis_and_Tuning_of_Neural_ICCVW_2019_paper.pdf . Cited March 22, 2024. - OpenVINO Deep Learning Workbench Overview.
https://docs.openvino.ai/latest/workbench_docs_Workbench_DG_Introduction.html . Cited March 22, 2024. - Intel Distribution of OpenVINO Toolkit.
https://docs.openvino.ai/latest/home.html . Cited March 22, 2024. - O. Fagbohungbe and L. Qian, “Benchmarking Inference Performance of Deep Learning Models on Analog Devices,” in Proc. 2021 Int. Joint Conf. on Neural Networks, Shenzhen, China, July 18-22, 2021 (IEEE Press, Piscataway, 2021), pp. 1-9.
doi 10.1109/IJCNN52387.2021.9534143 - P. Torelli and M. Bangale, “Measuring Inference Performance of Machine-Learning Frameworks on Edge-class Devices with the MLMark Benchmark,”
https://www.eembc.org/techlit/articles/MLMARK-WHITEPAPER-FINAL-1.pdf . Cited March 22, 2024. - EEMBC’s Machine-Learning Inference Benchmark targeted at edge devices.
https://github.com/eembc/mlmark . Cited March 22, 2024. - V. J. Reddi, C. Cheng, D. Kanter, et al., “MLPerf Inference Benchmark,”
https://arxiv.org/abs/1911.02549 . Cited March 22, 2024. - MLPerf Inference Benchmarks for Image Classification and Object Detection Tasks.
https://github.com/mlcommons/inference . Cited March 22, 2024. - E. P. Vasiliev, V. D. Kustikova, V. D. Volokitin, et al., “Performance Analysis of Deep Learning Inference in Convolutional Neural Networks on Intel Cascade Lake CPUs,” in Communications in Computer and Information Science (Springer, Cham, 2021), Vol. 1413, pp. 346-360.
doi 10.1007/978-3-030-78759-2_29 - Intel Optimization for Caffe.
https://github.com/intel/caffe . Cited March 22, 2024. - TensorFlow.
https://pypi.org/project/intel-tensorflow . Cited March 22, 2024. - TensorFlow Lite.
https://www.tensorflow.org/lite . Cited March 22, 2024. - MXNet.
https://mxnet.apache.org . Cited March 22, 2024. - OpenCV.
https://opencv.org . Cited March 22, 2024. - ONNX Runtime.
https://onnxruntime.ai . Cited March 22, 2024. - M. Sandler, A. Howard, M. Zhu, et al., “MobileNetV2: Inverted Residuals and Linear Bottlenecks,”
https://arxiv.org/abs/1801.04381 . Cited March 22, 2024. - ImageNet.
https://www.image-net.org . Cited March 22, 2024. - OpenVINO Toolkit - Open Model Zoo repository.
https://github.com/openvinotoolkit/open_model_zoo . Cited March 22, 2024. - TensorFlow Hub. Mobilenet V2 trained on Imagenet.
https://tfhub.dev/iree/lite-model/mobilenet_v2_100_224/uint8/1 . Cited March 22, 2024. - Intel Launches World’s Best Processor for Thin-and-Light Laptops: 11th Gen Intel Core.
https://www.intc.com/news-events/press-releases/detail/1411/intel-launches-worlds-best-processor-for-thin-and-light . Cited March 22, 2024.
Лицензия
Copyright (c) 2024 М. Р. Алибеков, Н. Е. Березина, Е. П. Васильев, И. Б. Вихрев, Ю. Д. Камелина, В. Д. Кустикова, З. А. Маслова, И. С. Мухин, А. К. Сидорова, В. Н. Сучков
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
