Методика анализа производительности вывода глубоких нейронных сетей на примере задачи классификации изображений
Авторы
М. Р. Алибеков
Н. Е. Березина
Е. П. Васильев
И. Б. Вихрев
Ю. Д. Камелина
В. Д. Кустикова
З. А. Маслова
И. С. Мухин
А. К. Сидорова
В. Н. Сучков
Ключевые слова:
глубокое обучение
нейронные сети
вывод
производительность
MobileNetV2
Deep Learning Inference Benchmark
Аннотация
Внедрение глубоких нейронных сетей требует анализа производительности этапа вывода на целевом аппаратном обеспечении. Результаты производительности позволяют принимать решение о возможности внедрения построенных моделей и/или необходимости их предварительной оптимизации. В работе описана методика анализа и сравнения производительности вывода на примере решения задачи классификации изображений: конвертация обученной модели под разные фреймворки, анализ качества, определение оптимальных параметров запуска вывода, оптимизация модели и повторный анализ качества, анализ и сравнение производительности. Разработана система Deep Learning Inference Benchmark для поддержки цикла анализа производительности. Методика продемонстрирована на примере открытой модели MobileNetV2.
ООО "Ядро Центр Исследований и Разработки" ул. Алексеевская, д. 6/16, 603005, Нижний Новгород • руководитель группы измерения производительности компонентов программного обеспечения искусственного интеллекта
V. Kustikova, E. Vasiliev, A. Khvatov, et al., “DLI: Deep Learning Inference Benchmark,” in Communications in Computer and Information Science (Springer, Cham, 2019), Vol. 1129, pp. 542-553. doi 10.1007/978-3-030-36592-9_44
A. K. Sidorova, M. R. Alibekov, A. A. Makarov, et al., “Automating the Collection of Deep Neural Network Inference Performance Metrics in the Deep Learning Inference Benchmark System,” in Proc. XXI Int. Conf. on Mathematical Modeling and Supercomputer Technologies, Nizhny Novgorod, Russia, November 22-26, 2021 (Nizhny Novgorod University Press, Nizhny Novgorod, 2021), pp. 318-325 [in Russian].
O. Fagbohungbe and L. Qian, “Benchmarking Inference Performance of Deep Learning Models on Analog Devices,” in Proc. 2021 Int. Joint Conf. on Neural Networks, Shenzhen, China, July 18-22, 2021 (IEEE Press, Piscataway, 2021), pp. 1-9. doi 10.1109/IJCNN52387.2021.9534143
E. P. Vasiliev, V. D. Kustikova, V. D. Volokitin, et al., “Performance Analysis of Deep Learning Inference in Convolutional Neural Networks on Intel Cascade Lake CPUs,” in Communications in Computer and Information Science (Springer, Cham, 2021), Vol. 1413, pp. 346-360. doi 10.1007/978-3-030-78759-2_29
M. Sandler, A. Howard, M. Zhu, et al., “MobileNetV2: Inverted Residuals and Linear Bottlenecks,” https://arxiv.org/abs/1801.04381 . Cited March 22, 2024.
Copyright (c) 2024 М. Р. Алибеков, Н. Е. Березина, Е. П. Васильев, И. Б. Вихрев, Ю. Д. Камелина, В. Д. Кустикова, З. А. Маслова, И. С. Мухин, А. К. Сидорова, В. Н. Сучков