秒速快三 秒速快三官网 秒速快三平台 秒速快三技巧 秒速快三开奖

当前位置: 秒速快三 > 秒速快三官网 >

秒速快三官网 物联网不息迈向矮碳化,MIT团队开发出一次训练、众平台安放的AI编制

时间:2020-05-09 01:00来源:未知 作者:admin 点击: 116 次
原标题:物联网不息迈向矮碳化,MIT团队开发出一次训练、众平台安放的AI编制 万物互联时代,AI 计算不克仅倚赖于云端服务器。例如自动驾驶车辆或无人机实走的物体识别义务,有着

原标题:物联网不息迈向矮碳化,MIT团队开发出一次训练、众平台安放的AI编制

万物互联时代,AI 计算不克仅倚赖于云端服务器。例如自动驾驶车辆或无人机实走的物体识别义务,有着较高的实时性需求,因此必要在这些形式各异的终端设备本地中安放深度神经网络(DNN)。但这又会凸显能耗题目,由于终端设备的可用资源往往是受限的。

除了 AI 硬件设计者们在竭力开发矮功耗的专用芯片以外,还有一组 钻研人员正想方设法让 DNN 自己更添“矮碳化”:将 DNN 模型高效地安放到各栽硬件平台上,涉及按照仔细硬件算力进走重新设计(或裁剪)以及重头训练,由此带来的成本会随着硬件平台的数目而线性添长,造成大量的能源消耗与碳排放。

一次训练就能适宜众平台安放的 Once for All(OFA)方案,成为一栽解决思路。

近来,来自麻省理工学院的韩松团队就发外了这个倾向的一项新收获: 团队开发了一个适用于众栽差别硬件平台的 AutoML 编制,这栽编制碳足迹更幼,硬件上的计算效果更高。这将是一项颇具行使前景的钻研。

该手段训练了一个大型的母网络秒速快三官网,其中包含很众差别大幼的子网络秒速快三官网,就能实现子网无需再训练即可适宜差别的硬件平台秒速快三官网,从而大幅降矮了为新平台 (能够包括数十亿个物联网设备) 训练每个特意的神经网络所需的成本。

团队推想,与当今最先辈的神经网络架构搜索手段(NAS)相比,行使该编制训练一个计算机视觉模型只必要大约正本 1/ 1300 的碳排放(图 1),同时在不亏损实在率的前挑下,将推理时间缩幼了 1.5-2.6 倍(图 2)。

图 1:OFA 和传统 NAS 手段的训练代价比较(以碳排放量计)

图 2:OFA 和 EfficientNet, MobileNet-v3 的推理性能比较

“吾们的现在的是更幼、更环保的神经网络。现在搜索高效的神经网络架构会产生重大的碳排放,新手段削减了几个数目级的碳排放”,韩松说。

团队基于 AutoML 竖立了这个编制,从而能够自动搜索重大的神经网络组织空间,以追求正当于给定硬件平台的网络组织。但是这照样存在效果题目:差别硬件平台必须单独选择模型,然后从头最先对选择的模型进走训练。

韩松介绍道:“吾们如何才能为从 1 美元的物联网设备,到上百美元的智能手机,到上千美元的 GPU 和云 AI 都有效地适配差别的网络?考虑到物联网设备的众样性,神经架构搜索的计算成本将会激添。”

而团队开发的 AutoML 编制之于是能避开这些成本,关键在于只训练行为 OFA 的 “母” 网络。

(来源:Han Lab)

这个 “母” 网络嵌套了特意众的子网,与一切的子网络共享一切的学习权值,这意味着子网络基本上是经过预先训练的。因此,每个子网能够在推理时自力运走而无需再训练。

针对特定的平台,编制会行使 OFA 行为搜索空间,按照与平台的能力和速度节制相相符的实在性和延长权衡,找到最佳的子网。例如,对于物联网设备,编制会找到一个较幼的子网。对于智能手机,它将选择较大的子网,但按照电池寿命和计算资源的差别,子网的组织也将差别。OFA 将模型训练和架构搜索解耦,并将一次性训练成本分摊到众个推理硬件平台和资源收敛上,在必要众平台安放的场景下展现上风。

这倚赖于 “渐进缩幼” 算法,它能有效地训练 OFA 网络以同时声援一切的子网。“渐进缩幼”算法最先用最大尺寸训练整个网络,然后逐步缩幼网络的大幼往遮盖更幼的子网。幼的子网络在大的子网络的协助下一首升迁。末了,编制声援差别大幼的一切子网络,并批准基于平台的能力和速度节制进走迅速定制化。它声援众栽硬件设备,在增补新设备时,训练成本为零。

“一个通用的 OFA 网络,声援在大量差别的组织竖立下议决截取 OFA 网络的差别片面来进走高效推理”,HAN Lab 博士生蔡涵说。按照论文,一个 OFA 网络可包含超过 10 的 19 次方个组织竖立,几乎遮盖了一切必要的平台。

那么成本以外,实在性如何?

效果表现, 这栽手段在移动设备上挑供了现在最优的 ImageNet 精度(图 3)。

蔡涵外示:“从计算资源的角度,NAS 手段的总共算资源是随着安放场景数目的增补而线性添长的。当有众个安放场景的时候,OFA 会比 NAS 手段高效得众。仔细上,在 40 个安放场景的情况下,OFA 的总共算资源消耗是 ProxylessNAS 的 1/16,MnasNet 的 1/1300”。

图 3:OFA 网络只需 595M MACs 即可实现 80.0% ImageNet top-1 实在率。

从实在率的角度,OFA 中的子网在经过微调后能够达到比单独从头训练更益的实在率。在 ImageNet 上,OFA 在大量的硬件平台和效果收敛下都达到了清晰益于 EfficientNet 和 MobileNetV3 的性能(图 2)。在 ImageNet 的 Mobile Vision 条件下(< 600M MACs),OFA 达到了最新的 80.0% SOTA 实在率。OFA 网络在第三届和第四届矮功耗计算机视觉比赛(Low-Power Computer Vision Challenge)中都取得了第一。

现在,该钻研论文已被 ICLR 2020 大会收录,并在 github 上开源了训练代码以及 50 个用于各栽硬件平台的 ImageNet 预训练模型,包括了在 600M MACs 收敛下达到 80.0%ImageNet 实在率的模型、预训练的 OFA 网络。

接下来,团队将不息拓展 OFA 在差别行使下的效果升迁,让 AI 轻量化,既能运走在云端平台也能运走在边缘设备上。

https://arxiv.org/pdf/1908.09791.pdf

http://news.mit.edu/2020/artificial-intelligence-ai-carbon-footprint-0423

https://github.com/mit-han-lab/once-for-all)

新京报快讯(记者 赵昱)5月7日,中南建设发布其4月销售数据。月内,该公司房地产业务实现合同销售金额约155.7亿元,同比增长约1%;对应的销售面积约为112.9万平方米,同比减少约12%。

原标题:新款iPhone se评论两极分化,这几类人已不适合入手,望周知

原标题:迷你控球大师训练计划第一天

原标题:瑞士为何成为全球最受欢迎移居地?到了这座小镇你就明白了

1、格力称全产业链布局“新基建”

原标题:杨紫琼和74岁富豪老公同框,穿豹纹衣不像58岁,和老公像“父女”

(责任编辑:admin)
------分隔线----------------------------
栏目列表
推荐内容