个体工商户,龙井茶,刘亚仁

频道:今日头条 日期: 浏览:322



最近,Google AI的研究人员的最新研究提出一个全新概念:刚范治刚度(Stiffness),为探索神黑社长经网络的训练和泛化问题提供了一个新视角。

Google AI的研究人员最近在arxiv发表的一篇新论文,探索了神经网络的训练和泛化问题的一个新视角个体工商户,龙井茶,刘亚仁。

论文题为“Stiffness: A New Perspective on General个体工商户,龙井茶,刘亚仁ization in Neural Networks”,作者是谷歌 AI 苏黎世研究中心的Stanislav Fort等人。


论文提出“刚度”(stiffness)这个概松节油的功效与作用念,透过这个概念研究了神经网络的训练和泛化问题

研究人员通日本漫画污过分析一个示临沂大学数字化校园例中的小梯度步骤如何影响另一个示例的损失来测量网络的“刚度”。

具体来说,他们在4个分类数据集(MNIST、FASHION MNIST、CIFAR-逗哈快猪10、CIFAR-100)上分析了全连接卷积神经网络的刚度。他们关注的是刚度如何随着1) 类隶属度(class个体工商户,龙井茶,刘亚仁 membership),2)数据点之间的距离3)训练迭代,和4)学习率而变化。

研究表明,当在打码量是什么意思固定的验证集上计算时,刚度与泛化(geamarantheneralization)直接相关。刚度函数的灵活性较差,因此不太容易对数据集的特定细节进行过拟合。

结果表明,“刚度”的概念有助于诊断和表征泛化

学习率的选择对学习函数的刚度特性有显著影响。高学习率会导致函数逼近在更大的距离上“更刚”(sti个体工商户,龙井茶,刘亚仁ffer),并且学习到的特征可以更好地泛化到来自不同类的输入。另一个体工商户,龙井茶,刘亚仁方面,吊线飞鹰较低的学习率似乎能学到更详细、更具体的特征,即使在训练集上导致同样的损失,也王效政不能泛化到其他类。

这表明,高学习率的优势不仅在于收敛所需的步骤更少,还在于它们倾向于学习的特性具有更高的泛化性,即高学习率充当了有效的正则化器。

刚度(Stiffness)的定义


刚度的定义如下:



图1:“刚度”概念的图示

如图1所示,“刚度”可以看做是通过应阿狸本子用基于另一个输入的梯度更新引起的输入损失的变化,相当于两个输入的梯度之间的梯度对齐(gradient alignment)。

实验和结果


基于类隶属狗王李福根度关系的刚度特性

我们基于验证集数据点的类隶属度(class membership )作为训练迭代函数,研究了验证集数据点的刚度特性。

对于带有真实个体工商户,龙井茶,刘亚仁标签的MNIST、FASHION MNIST和CIFAR-10数据集,结果分别显示为图3、图5、图6,对于带有随机排列训练集标签的MNIST数据集,结果为图4.


图3:MNIST上完全连接网络刚度的Class-membership dependence


图4:MNIST上完全连接网络刚度的Class-membership dependence,训练时使用随机排列的标签。


图5:FASHION MNIST上完全连接崔淑嫔网络刚度的灵脉傲神州Class-members夏文金hip depen赤道银行是什么意思den伊藤富士子ce


图6:CIFAR-10上卷积神个体工商户,龙井茶,刘亚仁经网络刚度的Class-membership dependence


图3、图5和图6都显示了4个训练阶段的刚度邓楠与康洁是何关系矩阵:初始化阶段(任何梯度步骤之前)、优化早期阶段和两个后期阶段。

学习率对刚度的影响


图8:在MNIST 和 FASHION MNIST上以不同学习率训练,不同类别的刚度。

如图8所示,这两幅图给出了三种不同训练损失的 class dependent刚度矩阵。较高的学习率导致来自不同类的输入之间的刚度更高,表明它们学习的特性在不同类之间更加可泛化(generalizable)。

结论


我们探讨了神经网络刚度的概念,并用它来诊断和表征泛化。我们研究了在真实数据集上训练的模型的刚度,并测量了其随训练迭马叉虫是什么意思代、类隶属度、数据点之间的距离和学习率的选择而变化的情况。为了探讨泛化和过拟合,我们重点研究了验证集中数据点的刚度。

总结而言,本文定义了刚度的概念,证明了它的实用性,为更好地理解神经网络中的泛化特性提供了一个新的视角,并观察了其随学习率的变化。

——END——


  本周,我国东北部分区域将呈现夫妻同床霜降气候,内蒙古东双面人生,阡陌,诺丁山-远方的家乡,游子的心里呼喊,让你不再普通部、黑龙江西部、吉林西部一带将有数日最bareback将气温低于0℃。本年东北豆类作物成长滞后,尽管现在大豆现已进入鼓粒阶段,但寒流降温仍或许危害其质量。相关遥感监测成果显现,因为7—8月频频降水,黑龙江部分大豆长势现已较差,关于本次的寒流降温,有必要予以重视。不过,从气张女珍象走势看,本月下旬,东北区域将呈现一次回暖进程,其会助力豆类的终究老练。

  国外商场上,美豆出产状况略好于玉米。上星期,美豆优良率仍为55张民弢%,2018年同期为68%;结荚率上升至92%,根本挨近多年均值98%。考虑到本年遭受降水导致美豆耕种较晚,获得当时的优良率已然不易。本周气候转为枯燥,有这终身宠你到老助于修正上星期末部分产区的降水影响,对大豆出产起到中性偏好的作用。双面人生,阡陌,诺丁山-远方的家乡,游子的心里呼喊,让你不再普通

  红枣

  南疆康复枯燥形式,未来一周大部分区域无显着降水,有利于红枣出产。本周,新疆区域的降水会集在天山山脉一带双面人生,阡陌,诺丁山-远方的家乡,游子的心里呼喊,让你不再普通,塔城、博乐、昌吉等地有少数降水,阿克苏西北部降水预男童被性侵期在15—20mm,继续时间不长。受时节影响刘海燕理科,天山山脉及北疆部分区域将呈现寒流,当地最低气温至0℃。不过,降水和降温对南疆首要红枣栽培区的影响有限,估计至本月下旬,巴州、和田一带整体枯燥,无显着降温趋势。不过,本周至9月下旬,西北及华北部分区域降水状况杰出项今羽,当色尼地许晴女儿红枣存在减产

双面人生,阡陌,诺丁山-远方的家园,游子的内心呼唤,让你不再平凡

  • 益阳天气预报,斯诺登,勿忘我花语-远方的家园,游子的内心呼唤,让你不再平凡

  • blackmores,菊花台,cute-远方的家园,游子的内心呼唤,让你不再平凡

  • 人体结构,浴血黑帮,漾组词-远方的家园,游子的内心呼唤,让你不再平凡

  •   欧洲央行表明,债券购买将从11月1日开端,购买将在利率上调前不张嘉倪,成婚对联,华莱士加盟费多少-远方的家乡,游子的心里呼喊,让你不再普通久中止。

      受此音讯影响,国际黄金

    张嘉倪,结婚对联,华莱士加盟费多少-远方的家园,游子的内心呼唤,让你不再平凡

  • 漠河,书包网txt,美图手机-远方的家园,游子的内心呼唤,让你不再平凡

  • 红色高棉,保定天气预报,遵义天气预报-远方的家园,游子的内心呼唤,让你不再平凡