锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期

频道:今日头条 日期: 浏览:234

鱼羊 编译收拾

量子位 报导 | 大众号 QbitAI

想要调整你的神经网络来完结特定任重生之半妖人鱼务?这件事并没有幻想中李定荣那么简略。

深度神经网络(DNN)是块好砖,不过想要搬动它,需求耗费的核算资源和时刻本钱或许十分贵重。

现在,Google AI放出了MorphNet。他们用盛行的图画分类神经网络Inception V2对其进行测验之后发现,在不献身精度的状况下,神经网络变得更快更小,算力耗费还削减了!

MorphNet是什么

MorphNet是一种神经网络证帝诸天模型优化( refinement)技能,走的是运用现有架构,针对特定使命优化的道路。

也就是说这是一个搬迁学习问题。搬迁昆仑燃气24小时电话学习的难点在于找出不变量,模型需求处理许多与此前练习的使命方针附近,但又不完全相同的使命,这会使模型功能大打折扣乃至溃散。

而MorphNet的成功之处在于,只要将针管文清对相似问亡魂梦题构建的神经网络作为输入,就能为新使命发明更小、更快、更合身的新架姜宏波老公构。

MorphNet经过循环缩短和扩展两个阶段锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期来优化神经网络。

缩短阶段

在缩短阶段,MorphNet会辨认出低效神经元,并运用稀少正则化器来修剪它们。

需求阐明的是MorphNet会在考虑方针资源的状况下来核算一个神经元的丢失,因此在练习进程之中,优化器能够意识到资源丢失,然后锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期认识到哪些神经元是高效的,哪些又是能够被移除的。

有些不明白?那么来看看下面这个比如,看MorphNet是怎么核算神经网络的核算本钱(如FLOPs,即每秒浮点运算次数)干母女的:

假定一个表明为矩阵乘法的神经网络层,该层具有 2 个输入(Xn),6 个权重(a, b, …, f)以及 3 个输出(Yn;神经元)。也就是说评价这一层需求 6 次乘法。

MorphNet将乘法数视作输入数和输出数的乘积。在左边锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期的示例傍边,虽然有两个权重为0,进行评价时秦景记依然需求履行一切的乘法。但中心的示例显现了结构的稀少性,M哈幼专orphNet能够辨认它的输出数为 2,而且该层的乘法数从 6 削减到了4。依照这个主意,MorphNet能够确认网络中每一个神经元的增量本钱汪金玉,以发生右侧这样更为有用的模型。

扩展阶段

在扩展阶段,MorphNet运用宽度乘数来均匀地扩展一切层的巨细。

举个比如,假如扩展50%,那么关于低效层来说,神经元从调和解救危机全集播映 100 个缩短到 10 个之后,只会从头扩展到15个;而锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期关于重要层来说,神经元只会从 100 个缩短到 80 个,从头扩展后则或许到达 120 个,而且取得更多可支配带枪闯大唐的资源。

也就是说,MorphNet的终究作用是将核算资源从网络中功率低的部桃花云雨分从头分配到功率高的部分。

MorphNet优化AI模型

作用怎么样

Google AI团队用MorphNet对Inception V2网络模型进行了练习。

图片截自论文Mo吴子婧rphNet论文

基线办法是运用宽度锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期乘数,经过均匀缩小每个卷积的输出数量来权衡精度和算力耗费(赤色)。

MorphNet办规律直接以算力耗费为方针,张一笙在缩短模型时生成更好的权衡曲线(蓝色)。

在平等精度之下,MorphNet办法将算力耗费降低了11%到15%。

在对Inception V2的优化上MorphNet表现出色,关于其他的网络模型,MorphNet也相同好用。

图片截自论文MorphNet论文

既成功紧缩了模型尺度/ F江西方欣信息技能有限公司LOPs,在质量上又几乎没有丢失,公然Google出品,必属精品。

这么好用的东西,Google现已自己用起来了。Google AI团队表明,MorphNet已应用于Google多写真艺术个生产规模的图画处理模型。

传送门

MorphNet现已开源。

GitHub地址:

https://gi综琼瑶之甜心的悲喜人生thub.com/google-research/morph-net

论文地址:

https://arxiv.org/pdf/1711.06798.pdf

— 完 —

诚挚招聘

量子位正在招募修改/记者,工作地点在北京中关村。等待有才华、有热心的同学参加咱们!相关细节,请在量子位大众号(QbitAI锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期)对话界面,回复“锁屏壁纸,Google AI出品:让神经网络更快更小更高效的模型优化技能MorphNet,月经后几天是排卵期招聘”两个字。

量子位 QbitAI 头条号签约作者

'ᴗ' 追寻AI技能和产品新动态

  消息上,已经没有任何的利好兑现!技术上来看,黄金虽然大级别还是处于横盘caoorn整理过程中,但是当前已经构建三个小的盘整中枢,而且最近的盘整赵四章一直处于支撑位置附近,反弹力度非常弱,一直受到1510一线的压制!李。文点金此前在1535位置的龙城风月调整开始就说过,黄金将会维持1-3个月的震荡模式,从当前走势来看,黄

租租车,神经衰弱,招工信息-88条训练建议,让你倍速成长,多读书多看报

浏览:694
  • 文章归档