Апаратні прискорювачі нейронних мереж: огляд поточного стану і перспектив для розвитку
Анотація
Метою дослідження був аналіз ключових аспектів прискорювачів нейронних мереж на оцінка ефективності сучасних фреймворків для побудови таких прискорювачів. У якості цільової платформи обрано ПЛІС через їх гнучкість та високий паралелізм у порівнянні з чіпами побудованими на основі архітектури фон Неймана. Дослідження фокусуються на спільному проектуванні програмного та апаратного забезпечення. Спочатку розглянуті програмні оптимізації, включаючи квантування, обрізку, дистиляцію та спайкові нейронні мережі як спосіб ефективної обробки розріджених наборів даних. Було описано основні підходи до проектування апаратного забезпечення, включно з шаблонами потоків даних та механізмами передачі активацій нейронів. У роботі розглянуто існуючі прискорювачі нейронних мереж на основі ПЛІС, порівняно точність результатів їх роботи, складність апаратної імплементації, енергоефективність та здатність виконувати алгоритми навчання. Прискорювачі для трансферного навчання були визначені як потенційна сфера для досліджень. Було розглянуто ПЛІС відмінні від FPGA, CPLD було визначено як потенційну енергоефективну платформу для розгортання бінарних нейронних мереж. Практичне значення даного дослідження полягає у потенційному використанні розглянутих принципів для розгортанні нейронних мереж на периферійних пристроях
Посилання
Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks. Communications of the ACM. 2017. Vol. 60, No. 6. P. 84–90. DOI: https://doi.org/10.1145/3065386.
Vaswani A., Shazeer N., Parmar N. et al. Attention is all you need. Advances in neural information processing systems. 2017. DOI: https://doi.org/10.48550/arXiv.1706.03762.
Courbariaux M., Hubara I., Soudry D. et al. Binarized neural networks: training deep neural networks with weights and activations constrained to +1 or -1 [Electronic resource]. arXiv, 2016. Available at: https://arxiv.org/abs/1602.02830. DOI: https://doi.org/10.48550/arXiv.1602.02830.
Zhao R., Song W., Zhang W. et al. Accelerating binarized convolutional neural networks with software-programmable FPGAs. Proceedings of the 2017 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays (FPGA’17). ACM, 2017. P. 15–24 DOI: https://doi.org/10.1145/3020078.3021741.
Izhikevich E. M. Simple model of spiking neurons. IEEE Transactions on Neural Networks. 2003. Vol. 14, No. 6. P. 1569–1572. DOI: https://doi.org/10.1109/TNN.2003.820440.
