AIoT--神经网络机器学习(ML) 软件 Arm NN

harry-iot · 发表于 2020-1-17 09:22

EDA365欢迎您登录！

您需要登录才可以下载或查看，没有帐号？注册

x

本帖最后由 harry-IoT 于 2020-1-17 09:25 编辑

  Arm NN是ARM机构开源的基于arm嵌入式设备的inference框架，在Arm Cortex-A CPUs、Arm Mali GPUs、Arm Machine Learning processor都可以达到很高的加速效果。不过可惜的是，由于缺乏文档及教程，该框架在国内推广的程度不高。相对于其他竞品inference框架如NCNN、Tengine、Mace、MNN等等，ArmNN的知名度显得很小。事实上ArmNN是一个被低估的框架（在arm设备上的性能几乎都优于目前的前传框架），不亏是ARM家精心调教的SDK，对自家核心的性能调教到了极致。  实际上，该软件桥接了现有神经网络框架（例如 TensorFlow 或 Caffe）与在嵌入式 Linux 平台上运行的底层处理硬件（例如 CPU、GPU 或新型 Arm 机器学习处理器）。这样，开发人员能够继续使用他们首选的框架和工具，经 Arm NN 无缝转换结果后可在底层平台上运行。

  ArmNN基于Arm的另外一个开源计算引擎ComputeLibrary做后端的核心计算，前端支持多种离线训练框架，如TensoRFlow、TFLITE、CAFFE以及ONNX。从功能上来说，几乎实现了与市面上所有离线训练框架无缝对接。而且ArmNN在FP32、FP16及INT8上的加速非常可观，笔者在RK3399上做300x300的Mobilenet-SSD（depth_multiplier=1.0），效率可达90ms/ 帧，其余的框架大多在160ms左右徘徊。

  机器学习需要一个训练阶段，也就是学习阶段（“这些是猫的图片”），另外还需要一个推理阶段，也就是应用所学的内容（“这是猫的图片吗？”）。训练目前通常在服务器或类似设备上发生，而推理则更多地转移到网络边缘，这正是新版本 Arm NN 的重点所在。

一切围绕平台

机器学习工作负载的特点是计算量大、需要大量存储器带宽，这正是移动设备和嵌入式设备面临的最大挑战之一。随着运行机器学习的需求日益增长，对这些工作负载进行分区变得越来越重要，以便充分利用可用计算资源。软件开发人员面临的可能是很多不同的平台，这就带来一个现实问题：CPU 通常包含多个内核（在 Arm DynamIQ big.LITTLE 中，甚至还有多种内核类型），还要考虑 GPU，以及许多其他类型的专用处理器，包括 Arm 机器学习处理器，这些都是整体解决方案的一部分。Arm NN 这时就能派上用场。

下图中可以看出，Arm NN 扮演了枢纽角色，既隐藏了底层硬件平台的复杂性，同时让开发人员能够继续使用他们的首选神经网络框架。

Arm NN 的一个关键要求是 Compute Library，它包含一系列低级别机器学习和计算机视觉函数，面向 Arm Cortex-A CPU 和 Arm Mali GPU。我们的目标是让这个库汇集针对这些函数的一流优化，近期的优化已经展示了显著的性能提升 – 比同等 OpenCV 函数提高了 15 倍甚至更多。如果您是Cortex-M CPU 的用户，现在还有一个机器学习原语库 – 也就是近期发布的 CMSIS-NN。

CMSIS-NN 是一系列高效神经网络内核的集合，其开发目的是最大程度地提升神经网络的性能，减少神经网络在面向智能物联网边缘设备的 Arm Cortex-M 处理器内核上的内存占用。Arm开发这个库的目的是全力提升这些资源受限的 Cortex CPU 上的神经网络推理性能。借助基于 CMSIS-NN 内核的神经网络推理，运行时/吞吐量和能效可提升大约 5 倍。

主要优势

有了 Arm NN，开发人员可以即时获得一些关键优势：

更轻松地在嵌入式系统上运行 TensorFlow 和 Caffe

Compute Library 内部的一流优化函数，让用户轻松发挥底层平台的强大性能

无论面向何种内核类型，编程模式都是相同的

现有软件能够自动利用新硬件特性

与 Compute Library 相同，Arm NN 也是作为开源软件发布的，这意味着它能够相对简单地进行扩展，从而适应 Arm 合作伙伴的其他内核类型。