两年前，当 MeliusNet 问世时，机械之心曾颁发过一篇手艺文章，回首了 BNN 的成长过程。彼时，依托晚期 BNN 工做 XNOR-Net 起身的 XNOR.AI 被苹果公司收购，大师曾憧憬过这种低功耗、高效能的二值神经收集手艺会不会即将开启广漠的使用前景。

　　然而，过去的两年时间，我们很难从敌手艺严酷保密的苹果公司获得关于 BNN 手艺使用的更多消息，而非论是学界和业界也未呈现其他出格亮眼的使用案例。另一方面，跟着终端设备数量的暴涨，边缘 AI 使用和市场正正在敏捷增加: 估计到 2030 年将发生 500 到 1250 亿台边缘设备，边缘计较市场将暴涨到 600 亿美元规模。这此中有几个目前抢手的使用范畴：AIoT、元宇宙和机械人终端设备。相关业界正正在加快发力手艺落地，取此同时 AI 能力曾经嵌入到以上范畴的诸多焦点手艺环节中，如 AI 手艺正在三维沉建、视频压缩以及机械人及时感知场景中的普遍使用。正在如许的布景下，业界对基于边缘的高能效、低功耗 AI 手艺、软件东西以及硬件加快的需求变的日益火急。

　　目前，限制 BNN 使用的瓶颈次要有两方面：起首，无法无效缩小和保守 32-bit 深度进修模子的精度差距；第二则是缺乏正在分歧硬件上的高机能算法实现。机械进修论文上的加快比凡是无法表现正在你正正在利用的 GPU 或 CPU 上。第二个缘由的发生可能恰是来自于第一个缘由，BNN 无法达到令人对劲的精度，因而无法吸引来自系统和硬件加快、优化范畴的从业者的普遍关心。而机械进修算法社区凡是无法本人开辟高机能的硬件代码。因而，想要同时获得高精度和强加快结果，BNN 使用或加快器无疑需要来自这两个分歧范畴的开辟者进行协做。

　　举个例子，Meta 保举系统模子 DLRM 利用 32-bit 浮点数来储存权沉和激活参数，它的模子大小约为 2.2GB。而一个少量精度下降 (4%) 的二值版本模子的大小仅为 67.5MB，由此可见二值神经收集能够节流 32 倍的模子大小。这对于储存受限的边缘设备来说具备了很是强的劣势。此外，BNN 也很是适合使用正在分布式 AI 场景中，例如联邦进修常常对模子权沉进行传输和聚合操做，因而模子大小和带宽受限往往成为整个系统的瓶颈。常用的手段是通过添加模子当地优化迭代次数来换取权沉传输频次的降低，用这种折中的方式来提拔全体效率，如出名的谷歌 FedAvg 算法。但增大当地计较量的策略对端侧用户并不敌对，这里，若是采用 BNN 就能够很等闲的降低几十倍的数据传输量。

　　BNN 的第二个显着的劣势是计较体例极端高效。它只用 1bit 也就是两种 state 来暗示变量。这意味着所有运算只靠位运算就能完成，借帮取门、异或门等运算，能够替代保守乘加运算。位运算是电路中的根本单位，熟悉电路设想的同窗该当大白，无效减小乘加计较单位的面积以及削减片外访存是降低功耗的最无效手段，而 BNN 从内存和计较两个方面都具备得天独厚的劣势，WRPN[1]展现了正在定制化 FPGA 和 ASIC 上，BNN 对比全精度可获得 1000 倍的功耗节流。更近期的工做 BoolNet [2]展现了一种 BNN 布局设想能够几乎晦气用浮点运算并连结纯 binary 的消息流，它正在 ASIC 仿实中获得极佳的功耗、精度衡量。

　　做者起首基于 Loss Landscape 可视化的形式深切对比了当前支流 BNN 模子同 32-bit 模子正在优化敌对度方面的庞大差别 (图 2)，提出 BNN 的粗拙 Loss Landscape 是障碍当前研究社区进一步摸索 BNN 机能鸿沟的的次要缘由之一。基于这一假设，做者测验考试操纵新鲜的布局设想对 BNN 模子优化敌对度进行提拔，通过构制具备更滑润 Loss Landscape 的二值神经收集架构以降低对高精度 BNN 模子的优化难度。具体而言，做者强调模子二值化大幅度限制了可用于前向传布的特征模式，促使二值卷积仅能正在无限的特征空间进行消息提取取处置，而这种受限前馈传布模式带来的优化坚苦能够通过两个层面的布局设想获得无效缓解：(1) 构制矫捷的邻接卷积特征校准模块以提高模子对二值表征的顺应性；(2) 摸索高效的旁路布局以缓解前馈传布中因为特征二值化带来的消息瓶颈问题。

　　基于上述阐发，做者提出了 BNext，首个正在 ImageNe 图像分类使命达到 80% 精确率的二值神经收集架构，具体的收集架构设想如图 4 所示。做者起首设想了基于 Info-Recoupling (Info-RCP) 模块的根本二值处置单位。针对邻接卷积间的消息瓶颈问题，通过引入额外的 Batch Normalization 层取 PReLU 层完成对二值卷积输出分布的初步校准设想。接着做者构制了基于逆向残差布局取 Squeeze-And-Expand 分支布局的二次动态分布校准设想。如图 3 所示，比拟保守的 Real2Binary 校准布局，额外的逆向残差布局充实考虑了二值单位输入取输出间的特征差距，避免了完全基于输入消息的次优分布校准。这种双阶段的动态分布校准能够无效降低后续邻接二值卷积层的特征提取难度。

　　因为相对粗拙的 Loss Landscape，当前二值模子优化遍及依赖于 knowledge distillation 等方式供给的更精细监视消息，以此脱节普遍存正在的次优收敛。BNext做者初次考虑了优化过程中teache模子取二值student模子预测分布庞大差距可能带来的影响，，指出纯真基于模子精度进行的 teacher 选择会带来反曲觉的 student 过拟合成果。为处理这一问题，做者提出了 knowledge-complexity (KC) 做为新的 teacher-selection 怀抱尺度，同时考虑 teacher 模子的输出软标签无效性取 teacher 模子参数复杂度之间的联系关系性。

　　正在此根本上，论文做者进一步考虑了强 teacher 优化过程中因为晚期预测分布差距形成的优化问题，提出 Diversified Consecutive KD。如下所示，做者通过强弱 teachers 组合的学问集成方式对优化过程中的方针函数进行调制。正在此根本上，进一步引入 knowledge-boosting 策略，操纵多个预定义候选 teachers 正在锻炼过程中对弱 teacher 进行平均切换，将组合学问复杂度按照从弱到强的挨次进行课程式指导，降低预测分布差同性带来的优化干扰。

　　正在优化技巧方面，BNext 做者充实考虑了现代高精度模子优化中数据加强可能带来的增益，并供给了首个针对现有风行数据加强策略正在二值模子优化中可能带来影响的阐发成果，尝试成果表白，现无数据加强方式并不完全合用于二值模子优化，这为后续研究中特定于二值模子优化的数据加强策略设想供给了思绪。

　　基于所提出架构设想取优化方式，做者正在大规模图像分类使命 ImageNet-1k 进行方式验证。尝试成果如图 6 所示。

　　比拟于现无方法，BNext-L 正在 ImageNet-1k 上初次将二值模子的机能鸿沟鞭策至 80.57%，对大大都现无方法实现了 10%+ 的精度超越。比拟于来自 Google 的 PokeBNN, BNext-M 正在附近参数量前提下要超出跨越 0.7%，做者同时强调，PokeBNN 的优化依赖于更高的计较资本，如高达 8192 的 Bacth Size 以及 720 个 Epoch 的 TPU 计较优化，而 BNext-L 仅仅以常规 Batch Size 512 迭代了 512 个 Epoch，这反映了 BNext 布局设想取优化方式的无效性。正在基于不异基准模子的比力中，BNext-T 取 BNext-18 都有着大幅度的精度提拔。正在同全精度模子如 RegNetY-4G (80.0%)等的对比中，BNext-L 正在展示相婚配的视觉表征进修能力同时，仅仅利用了无限的参数空间取计较复杂度，这为正在边缘端摆设基于二值模子特征提取器的下逛视觉使命模子供给了丰硕想象空间。

　　BNext 做者正在论文中提到的，他们和合做者们正积极正在 GPU 硬件上实现并验证这个高精度 BNN 架构的运转效率，将来打算扩展到其他更普遍的硬件平台上。然而正在编者看来，让社区对 BNN 沉拾决心，被更多系统和硬件范畴的极客关心到，也许这个工做更主要的意义正在于沉塑了 BNN 使用潜力的想象空间。从久远来看，跟着越来越多的使用从以云为核心的计较范式向去核心化的边缘计较迁徙，将来海量的边缘设备需要愈加高效的 AI 手艺、软件框架和硬件计较平台。而目前最支流的 AI 模子和计较架构都不是为边缘场景设想、优化的。因而，正在找到边缘 AI 的谜底之前，相信 BNN 一直城市是一个充满手艺挑和又蕴涵庞大潜力的主要选项。

　　原题目：《首个正在ImageNet上精度跨越80%的二值神经收集BNext问世，-1取+1的五年辛路过程》

　　本文为磅礴号做者或机构正在磅礴旧事上传并发布，仅代表该做者或机构概念，不代表磅礴旧事的概念或立场，磅礴旧事仅供给消息发布平台。申请磅礴号请用电脑拜候。