科技频道第一次胜过MobileNet的二值神经网络,-1与+1的三年艰苦

科技频道 2020-01-23172未知admin

  机器原创

  作者:思

  近日,苹果以 2 亿美元左右价格收购初创 Xnor.ai 的消息引起了社区极大的关注。作为一家以二值神经网络 Xnor-net 起家的人工智能初创,Xnor.ai 被苹果高价收购,也许预示着低功耗、高效能的二值神经网络技术将广阔的应用前景。

  二值网络常极致的一种神经网络,科技频道它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么,它的优势与都有什么?这就是本文关注的,我们希望通过基本概念、性能里程碑看看二值神经网络这几年到底有什么发展。

  与此同时,本文也着重介绍了一种最前沿的二值网络 MeliusNet,它的诞生预示着二值网络在 IgeNet 上第一次能达到 MobileNet 的水平。

  二值神经网络是什么?

  我们知道模型压缩非常重要,想要应用到真实业务,模型就必须得高效。在模型压缩中,有一种非常极致的压缩方法,它通过权重只能取-1、+1 两个值,从而大量降低计算资源的需求。

  二值神经网络示例。

  对于储存的节省,这里可以举个例子,常规神经网络采用 FP32 来表示数值,权重文件经常会达到 1GB。而若权重数量相等,二值神经网络可以节省 32 倍的存储,权重文件也就由 1GB 降低到 32MB。这看起来就非常有吸引力,简直是部署边缘端模型的不二选择。

  更重要的是,二值网络只有+1 与-1,这意味着所有运算只靠位运算就能完成,二值网络借助与门、异或门等运算,可以替代传统乘加运算。换句话说,在二值网络的过程中,基本是不需要乘法的,它只需要加法与位运算。如果有一个强大的二值网络,我们也许能摆脱对 GPU 等高性能计算设备的依赖。

  既然有着这两大不可忽视的优势,那么为什么现在绝大多数神经网络还是采用的单精度浮点数?为什么神经网络做量化也只是压缩到 INT8 等低精度整数,而不能直接压缩到接近二值的超低精度?

  与优势同样明显的是,二值神经网络也有不可忽视的缺陷。

  令人又爱又恨的二值网络

  针对二值网络的两大优势,它也有两大缺陷。首先,二值网络极致地将数值精度降低到-1 与+1,这肯定会大幅度降低模型的效果。这一点从 BNN 的开山之作 [1,2] 在 IgeNet 分类任务上 Top-1 准确度仅能达到 50% 左右就可见一斑。

  其次,二值网络一直缺乏有效的训练算法,这也是困扰模型的问题。很明显,既然二值网络在时采用的是±1,那么我们无法直接计算梯度信息,也就无法高效地使用反向更新权重。

  因此想要学习一个可行的二值网络,我们不仅需要确定如何对输入、参数执行二值化,同时还需要能从二值化的结果计算对应梯度。

  其实之前在 2016 年的时候,BNN 与 XNOR-Net 的提出令很多研究者看到了二值网络的优势。但问题在于,二值网络精度太低,又难以训练。因此在短暂的热潮之后,关于二值网络的各项研究都被搁置了,仅留下了少数最为核心的问题,例如如何提升二值网络的效果。

  从 16 年到现在已经过去很久了,令人又爱又恨的二值网络到底有了哪些提升?后文希望从二值网络的发展线、效果里程碑等方面回顾 BNN 近 3 年的发展历程。

  现在的二值网络

  BNN 与 XNOR-Net,它们是近来最早引起广泛关注的研究。对于构建二值网络的两个问题,BNN 采用符函数 Sign() 来实现二值化,采用 Straight-through Es(STE)来传递梯度。其中二值化很好理解,即输入如果是正数和零,则返回+1,输入是负数,则返回-1。

  而 STE 的主要思想也比较容易理解,因为二值化后的权重是无法精确计算梯度的,但在执行二值化前,那样的浮点数能产生足够准确的梯度。因此,STE 在训练中会保留浮点数,并采用梯度更新这样的浮点数,在训练完成后,我们对这些浮点数做一个二值化就能得到最终的网络,并可以丢弃浮点数。

  这两个问题是二值网络的核心,很多新研究都针对它们提出了新的见解。

  例如 [8] 等不少研究提出了 STE 的替代方案,这些方法大多尝试一种可微的 Approxitor,或者使用比 STE 曲线更加平滑的函数来代替它。不过这些研究建立在实验和直觉上,科技频道缺少理论上严谨的证明,甚至在其它验验中 [9],也没有取得超过 STE 的结果。

  二值网络的晋升之

  2016 提出的 BNN [1] 是 Bengio 等大牛的挖坑之作,该研究可以认为是现代二值网络的开山之作。研究者在 MNIST 与 CIFAR-10 等小数据上测试了模型效果,该研究至少证明二值神经网络是可行的。

  同样在 2016 年提出的还有 XNOR-Net [2],入坑二值网络研究的小热潮就是它带动的。该模型在 ipohne 上做到了 yolo v1 的实时检测,可惜 IgeNet 上精度还是很低,仅为 51%。论文里 58 倍加速比也带有性,因为它的对比并不是太公平。

  即使这样,51% 的准确率也持续到 2018 年才被超越,可见 BNN 准确率的提升并不简单。

  WRPN [3] 和 Shen et al. [11] 通过提升卷积层通道数的方式来提升 BNN 的精度,即让 BNN 变得更宽。但是这样的方法很大程度上增加了运算复杂度,欠缺模型效果和计算复杂度上的平衡,实用性比较差。

  ABC-Net 和 GroupNet[7] 是另一种提升 BNN 准确率的代表性方法。它们认为单个权重与激活值信息量不够,如果多学习几组,并取线性加权来逼近全精度输出,那么效果应该是足够的。这类方法计算复杂度太高,准确率是上去了,但速度优势也没了。

  随后,Bi-RealNet [8] 和 BinaryDenseNet [9] 都用一组权重与激活值,科技频道并通过改进网络结构来提升效果。研究者在设计结构时尝试调优网络的信息流,移除信息流中的「瓶颈」。这两项工作都更具实践意义,作者们也开源了对应代码。

  值得注意的是,[9] 中作者做了完整详细的测评实验,验证之前研究提出的技巧或方法,例如 scaling ctor,approxi-sign function 等。结果显示也许我们不需要复杂的技巧,只需要简单朴素的方法就能获得很好效果。

  与此同时,MeliusNet 的计算复杂度并不高,能充分利用二值网络的速度优势。整体而言,MeliusNet 继续在 BNN 定制化架构上进行探索,为二值网络设计了一套高效简洁的架构。

  地址:

  Dense Block 是 DenseNet 的二值化变体,它包含一个二值卷积(Binary Convolution),并将输入特征压缩到 个通道数,并凭借到原本的输入特征上。举个栗子,Dense Block 的输入特征是 W*H*256,那么输出特征就是 W*H*320,相当于扩充了输入特征。

  随后的 Improvement Block 主要关注新扩充特征的质量,如上图所示,所有特征图会经过新的卷积运算,并用来提升之前新生成的 张特征图。最后得出的 320 张特征图就是构建块的输出结果,可以看到,MeliusNet 信息流是不断扩充与精炼的。

  表 1:不同 MeliusNet 在 IgeNet 上的效果。其中降低通道数的因子根据 32 的倍数来选,「/2」与「/4」等后缀表示 1×1 下采样卷积采用 2 和 4 的分组。选自 [10]。

  MeliusNet 在 IgeNet 上的效果已经很好了,相比最开始 50% 左右的准确率已经提升了一大截。那么 MeliusNet 与其它二值网络、MobileNet V1 的对比又是怎样的?研究者在给定模型大小的情况下,对比了不同模型在 IgeNet 上的效果。

  图 5:IgeNet 数据集上,不同模型在 4MB 和 5MB 大小下的效果。其中所有彩色的图标表示模型通过作者的策略训练,黑色表示原论文的结果。选自 [10]。

  此外,研究者还对比了其它使用多组权重与激活值的二值网络、更大一些的 MobileNet 1.0。结果表明尽管 MeliusNet 是二值网络,但它在 IgeNet 上的效果已经非常惊人了。

  通过一系列实验,我们至少可以明确,二值网络在准确度上也常有潜力的。MeliusNet 证明了更好的二值网络架构,确实能产生更优秀的模型效果。

  二值网络能干什么?

  首先二值网络本身就是一种模型压缩方法,它能以更小的存储代价、计算代价实现相同的功能。在 WRPN [3] 中,Intel 的研究员在 FPGA 和 ASIC 等多种不同硬件上验证了二值网络的效果。该研究表示在 FPGA 和 ASIC 等定制芯片上,和标准单精度模型相比,BNN 可以达到超过 50 倍的加速比,同时达到千分之一的能耗比。

  [Ige: ige.png] 图注:低精度运算在不同硬件上的效果提升。d 图可以看到二值网络的加速比超过 50 倍,g 图可以看到能耗效率能提升一千倍。

  既然效果这么强硬,而且 MeliusNet 的准确率也提升来了,那我们为什么不试一试?

  如果不考虑论文复现代码,目前能用的可靠开源项目并不多。

  Dabnn 2019 [4] 由京东 AI 研究院推出,基于汇编调优后的 BNN 推理工具。它有效提升了 BNN 在 ARM 框架端上的推理速度,但是这个工具并不能用于模型训练,需要使用其它工具进行训练。

  BMXNet-v2 2019 [9],Bethge 和 Yang 等开源了支持 Gluon API 的第二版。该框架采用的一系列改进大大降低了模型训练难度,大大减小了同 MXNet 同步的成本。第二版不仅提升了效率,同时继续支持模型的压缩和二值化推理,可将模型部署在多种边缘设备上。

  有了这些工具,再加上架构上的创新,二值神经网络能做的比我们想象的更多。也许以后跑在手机等设备上的神经网络,就能经常见到二值网络大显身手。

原文标题:科技频道第一次胜过MobileNet的二值神经网络,-1与+1的三年艰苦 网址:http://www.dzine-studios.com/kejipindao/2020/0123/3478.html

Copyright © 2002-2020 志同道合新闻网 www.dzine-studios.com 版权所有  

联系QQ:1352848661