推荐关注:

苏梓梦让ai自己调整超参数,谷歌大脑新优化器火了

收集整理:九站网 更新时间:2022-11-24 22:04 文章来源:浅语科技

苏梓梦还在苦恼怎么给优化器调整更好的参数吗?现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数,直接用就完事了。与其他人工设计的如Adam、AdaGr

原标题:《让ai自己调整超参数,谷歌大脑新优化器火了》

苏梓梦还在苦恼怎么给优化器调整更好的参数吗?

苏梓梦现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数,直接用就完事了。

苏梓梦

苏梓梦与其他人工设计的如Adam、AdaGrad等算法不同,VeLO完全基于AI构造,能够很好地适应各种不同的任务。

苏梓梦当然,效果也更好。论文作者之一LucasBeyer将VeLO与其他“重度”调参的优化器进行了对比,X能不相上下:

苏梓梦

苏梓梦有网友看到了一丝优化器进步的曙光:

苏梓梦在Adam之后出现了不少优化器,却都表现得非常失败。这个优化器或许确实能表现更好。

苏梓梦

苏梓梦所以,这个基于AI的优化器是如何打造的?VeLO究竟是怎么打造的?

在训练神经网络的过程中,优化器(optimizer)是必不可少的一部分。

△神经网络训练过程,图源ThomasWolf

但AI模型应用都这么广泛了,训练AI模型用的优化器却仍然是人工设计的,听起来多少有点不合理。

于是谷歌大脑的研究人员灵机一动:为何不用AI来做一个优化器呢?

设计上,优化器的原理基于元学习的思路,即从相关任务上学习经验,来帮助学习目标任务。

相比迁移学习,元学习更强调获取元知识,它是一类任务上的通用知识,可以被泛化到更多任务上去。

基于这一思想,VeLO也会吸收梯度并自动输出参数更新,无需任何超参数调优,并自适应需要优化的各种任务。

架构上,AI优化器整体由LSTM(长短期记忆网络)和超网络MLP(多层感知机)构成。

其中每个LSTM负责设置多个MLP的参数,各个LSTM之间则通过全局上下文信息进行相互协作。

训练上,AI优化器采用元训练的方式,以参数值和梯度作为输入,输出需要更新的参数。

经过4000个TPU月(一块TPU运行4000个月的计算量)的训练,集各种优化任务之所长后,VeLO终于横空出世。比人工调参优化器效果更好

结果表明,VeLO在83个任务上的加速效果超过了一系列当前已有的优化器。

其中y轴是相比Adam加速的倍率,x轴是任务的比例。

结果显示,VeLO不仅比无需调整超参数的优化器效果更好,甚至比仔细调整过超参数的一些优化器效果还好:

与“经典老大哥”Adam相比,VeLO在所有任务上训练加速都更快,其中50%以上的任务比调整学习率的Adam快4倍以上,14%以上的任务中,VeLO学习率甚至快上16倍。

而在6类学习任务(数据集+对应模型)的优化效果上,VeLO在其中5类任务上表现效果都与Adam相当甚至更好:

值得一提的是,这次VeLO也被部署在JAX中,看来谷歌是真的很大力推广这个新框架了。

巴特,也有网友认为耗费4000个TPU月来训练VeLO,计算量成本过大:

虽然这个进展很重要,但它甚至都快赶上GPT-3的训练量了。

目前VeLO已经开源,感兴趣的小伙伴们可以去试试这个新的AI优化器。OneMoreThing

前段时间,一位哈佛博士生提了个有意思的想法,得到不少人赞同:

更多论文的作者们也应该像演职员表一样,公开自己在论文中的工作内容。

KareemCarr是生物统计学领域的博士生,作者贡献在生物论文中比较常见,不过之前在AI论文中见得不多。

现在,这篇谷歌大脑论文的作者们也这样做了,谁写的论文、谁搭建的框架一目了然:

不知道以后会不会成为机器学习圈的新风气(手动狗头)。

苏梓梦还在苦恼怎么给优化器调整更好的参数吗?苏梓梦现在,谷歌大脑搞出了一个新的优化器VeLO,无需手动调整任何超参数...

阅读全文

苏梓梦让ai自己调整超参数,谷歌大脑新优化器火了》一文由九站智能AI收集整理,不代表本站支持其观点
如无意侵犯您的权益,请及时与我们联系,我们将在第一时间处理您的诉求。

热门频道推荐 建站经验 策划盈利 搜索优化 业界动态 境外动态 网络评论 传媒播报 产品运营 交互设计 网站推广 免费资源 网络游戏 网页游戏 电商要闻 电商分析 移动通讯 数码咨讯 移动应用 数码评测 创业模式 创业资本 创业点评 创业经验 电商淘客 电商微商

九站草根门户 服务草根站长 集结网络群体的力量!
免责申明:本站为非盈利性网站,不刊登或转载任何完整的新闻内容,其版权归原作者所有。如无意侵犯您的权益,请及时与我们联系,我们将在第一时间处理您的诉求。
PHP程序订制开发,九站系统销售联系QQ 1142088012 蜀ICP备06021074号-10 Copyright 2011-2022 © Www.O9z.Net .All Rights Reserved