百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

谷歌大脑工程师给2018学术顶会划重点:对抗性学习+强化学习

suiw9 2024-10-25 16:54 20 浏览 0 评论


新智元编译

作者:Alex Irpan

翻译:肖琴

【新智元导读】本文作者Alex Irpan是Google Brain机器人团队的软件工程师,他在不到一个月的时间里参加了两个学术会议:ICLR 2018和ICRA 2018,前者是一个深度学习会议,后者是机器人领域的会议。作者将这两个会议进行了比较。

ICLR 2018

从研究的角度来看,今年ICLR的一大重点是对抗性学习

深度学习领域中最受欢迎的是生成对抗网络。不过,我在这里关注的更广,包括对抗样本和智能体竞争的环境。实际上,任何形式的极小极大优化问题都可以算作对抗性学习。

我不知道GAN是否真的很受欢迎,或者我的记忆带有选择性的偏见,因为我对这些方法很感兴趣。GAN给人的感觉很强大。评估GAN的一种方法是,你通过使用学习隐式成本而不是人为定义的成本来学习生成器。这使你能够适应生成器的能力,并可以定义手动解释可能很麻烦的成本。

当然,这会让你的问题更加复杂。但是如果你有足够强的优化和建模能力,那么隐式学习的成本将比其他方法能提供更清晰的图像。使用学习的组件替换一部分系统的一个好处是,优化和建模能力的进步适用于问题的更多方面。你正在提高学习成本函数的能力和最小化这些学习成本的能力。

从抽象点的观点来看,这涉及到具有表现力的、可优化的函数家族的能力,例如神经网络。 Minimax优化不是一个新的想法。它已经存在很久了。新的东西是,深度学习可以让你在高维数据上建模和学习复杂的成本函数。对我来说,GAN的有趣之处不是图像生成,而是它们在复杂的数据(比如图像)上的概念证明。这个框架并不要求使用图像数据。

学习过程中还有其他部分可以用学习方法来替代,而不是用人为定义的方法,深度学习就是这样一种方法。这样做有意义吗?也许有。问题是,你用深度学习方法越多,就越难让每件事情都可以学习(learnable)。

最近Quanta Magazine上有一篇文章,Judea Pearl在上面表达了他的失望:深度学习只是学习相关性和曲线拟合,而这并不涵盖所有的智能。我同意Judea Pearl的观点,但作为深度学习的拥护者,我认为如果你把一个足够大的神经网络足够好地进行优化,你可能会学到一些看起来很像因果推理的东西,或者其他可以算作智能的东西。但这就接近哲学的领域了,所以我就讲到这里。

从与会者的角度来看,我喜欢这次会议有很多海报展示。这是我第一次参加ICLR。我之前参加过的ML会议是NIPS,NIPS给我的感觉是非常大。在NIPS上仔细阅读每一张海报感觉不太可行。在ICLR阅读完所有海报是可能的,尽管你不一定真想这样做。

我也很欣赏ICLR上企业招聘不像NIPS那样荒谬。在NIPS,有些公司会送奇怪的指尖陀螺和弹簧玩具.......在ICLR,我得到的最奇怪的东西是一双袜子,虽然奇怪,但也不是特别奇怪。

会后我跟进阅读的论文:

Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play

Learning Robust Rewards with Adverserial Inverse Reinforcement Learning

Policy Optimization by Genetic Distillation

Measuring the Intrinsic Dimension of Objective Landscapes

Eigenoption Discovery Through the Deep Successor Representation

Self-Ensembling for Visual Domain Adaptation

TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning

Online Learning Rate Adaptation with Hypergradient Descent

DORA The Explorer: Directed Outreaching Reinforcement Action-Selection

Learning to Multi-Task by Active Sampling

ICRA 2018

ICRA 2018是我参加的第一个机器人会议。我不知道该期待什么。我一开始做的是ML研究,后来转去研究机器人,所以我的兴趣更接近于学习控制,而不是制造新的机器人。我的理想设定是,我可以将真实世界的硬件视为抽象的。

再加上我对控制理论的贫乏理解,我对会议上的许多话题都不熟悉。尽管如此,还是有很多学习领域的论文,很高兴我去参加了这个会。

在我确实了解的研究中,我很惊讶有这么多的强化学习论文。看到它们中几乎没有人使用纯粹的无模型的RL,有点有趣。对于ICRA,如果你的论文提出的模型在真实世界的机器人上运行过,那么你被接受的可能性会大得多。这就迫使作者关注数据效率,因此对只做无模型的RL有极大的偏见。当我四处听演讲时,我不断地听到“我们将无模型强化学习与X结合在一起”,其中X是基于模型的RL,或者从人类的演示中学习,或者从运动规划中学习,或者从任何可以帮助探索问题的东西中学习。

从更广泛的层面看,这次会议是有实用性的。它虽然是一个研究会议,很多内容仍然是很推测性的,但它也觉得人们可以接受狭窄的、有针对性的解决方案。我认为这是不得不使用真正的硬件造成的另一个后果。如果需要实时运行模型,就不能忽略推理时间。如果需要从真正的机器人那里收集数据,就不能忽略数据效率。真正的硬件并不关心你的问题是什么。

(1)网络必须能够运行。

(2)无论您做何努力,赋于其何种优先级,都无法提高光的速度。

——RFC 1925

这让和我交谈过的许多ML研究人员感到惊讶,但这个机器人技术的会议并没有像NIPS / ICLR / ICML的人那样完全接受ML,部分原因是ML并不总是有效的。机器学习是一个解决方案,但它不能保证有意义。我的印象是,ICRA中只有少数人积极地希望ML失败。只要ML能证明有用,其他人都很乐意使用ML。在某些领域,它已经证明了自己。我看到的每一篇跟感知相关的论文都以这样或那样的方式使用CNN。但是很少有人用深度学习来进行控制,因为控制是有很多不确定因素的。

像ICLR一样, ICRA上也有很多公司举行招聘或摆设摊位。跟ICLR不同的是,这里的摊位显得更有趣。大多数公司都带了机器人来演示,这当然比听招聘演说更有趣。

在去年的NIPS上,我注意到ML公司的展位让我想起了Berkeley的职业招聘会。每一家科技公司都想招到Berkeley的应届毕业生。这就像一场军备竞赛,看谁能提供最好的东西和最好的免费食物。感觉他们的目标是尽可能地让自己看起来是最酷的公司,而不告诉你他们真正想雇佣你来做什么。机器人技术还没有走得很远。它在增长,但没有太多的宣传。

我参加了几个workshop,在那里人们谈论他们如何在现实世界中使用机器人,都很有趣。研究性会议倾向于集中讨论研究和网络,这使得人们很容易忘记研究可以有明确的、直接的经济价值。有一个农业机器人相关的,谈到使用计算机视觉来检测杂草以及喷洒除草剂,这听起来是好事。使用更少除草剂,杀死更少作物,同时减缓除草剂抗性的发生。

Rodney Brooks也有一个类似的精彩演讲,他以Roomba为例,谈到了将机器人技术转化为消费产品所需的东西。他说,在设计Roomba时,他们先定了一个价格,然后将所有的功能控制在这个价格里面。结果是,几百美元的价格让你在传感器和硬件的选择上只有很小的余地,这就使得在设备上进行推断的能力有严格的限制。

组织方面,做得很好。会议中心紧邻印刷店,所以在注册时,组织者说,如果你在特定期限内用电子邮件发送PDF文件,他们会处理剩下的所有流程。你所要做的就是在网上为你的海报付钱,然后在会议上拿出来。所有的演示都是在演示室中进行的,每个演示室都配有白板和一个架子,你可以在上面放置笔记本电脑来播放视频。

会后我跟进阅读的论文:

Applying Asynchronous Deep Classification Network and Gaming Reinforcement Learning-Based Motion Planner to a Mobile Robot

OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World

Synthetically Trained Neural Networks for Learning Human-Readable Plans from Real-World Demonstrations

Semantic Robot Programming for Goal-Directed Manipulation in Cluttered Scenes

Interactive Perception: Leveraging Action in Perception and Perception in Action

相关推荐

俄罗斯的 HTTPS 也要被废了?(俄罗斯网站关闭)

发布该推文的ScottHelme是一名黑客,SecurityHeaders和ReportUri的创始人、Pluralsight作者、BBC常驻黑客。他表示,CAs现在似乎正在停止为俄罗斯域名颁发...

如何强制所有流量使用 HTTPS一网上用户

如何强制所有流量使用HTTPS一网上用户使用.htaccess强制流量到https的最常见方法可能是使用.htaccess重定向请求。.htaccess是一个简单的文本文件,简称为“.h...

https和http的区别(https和http有何区别)

“HTTPS和HTTP都是数据传输的应用层协议,区别在于HTTPS比HTTP安全”。区别在哪里,我们接着往下看:...

快码住!带你十分钟搞懂HTTP与HTTPS协议及请求的区别

什么是协议?网络协议是计算机之间为了实现网络通信从而达成的一种“约定”或“规则”,正是因为这个“规则”的存在,不同厂商的生产设备、及不同操作系统组成的计算机之间,才可以实现通信。简单来说,计算机与网络...

简述HTTPS工作原理(简述https原理,以及与http的区别)

https是在http协议的基础上加了一层SSL(由网景公司开发),加密由ssl实现,它的目的是为用户提供对网站服务器的身份认证(需要CA),以至于保护交换数据的隐私和完整性,原理如图示。1、客户端发...

21、HTTPS 有几次握手和挥手?HTTPS 的原理什么是(高薪 常问)

HTTPS是3次握手和4次挥手,和HTTP是一样的。HTTPS的原理...

一次安全可靠的通信——HTTPS原理

为什么HTTPS协议就比HTTP安全呢?一次安全可靠的通信应该包含什么东西呢,这篇文章我会尝试讲清楚这些细节。Alice与Bob的通信...

为什么有的网站没有使用https(为什么有的网站点不开)

有的网站没有使用HTTPS的原因可能涉及多个方面,以下是.com、.top域名的一些见解:服务器性能限制:HTTPS使用公钥加密和私钥解密技术,这要求服务器具备足够的计算能力来处理加解密操作。如果服务...

HTTPS是什么?加密原理和证书。SSL/TLS握手过程

秘钥的产生过程非对称加密...

图解HTTPS「转」(图解http 完整版 彩色版 pdf)

我们都知道HTTPS能够加密信息,以免敏感信息被第三方获取。所以很多银行网站或电子邮箱等等安全级别较高的服务都会采用HTTPS协议。...

HTTP 和 HTTPS 有何不同?一文带你全面了解

随着互联网时代的高速发展,Web服务器和客户端之间的安全通信需求也越来越高。HTTP和HTTPS是两种广泛使用的Web通信协议。本文将介绍HTTP和HTTPS的区别,并探讨为什么HTTPS已成为We...

HTTP与HTTPS的区别,详细介绍(http与https有什么区别)

HTTP与HTTPS介绍超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息,HTTP协议以明文方式发送内容,不提供任何方式的数据加密,如果攻击者截取了Web浏览器和网站服务器之间的...

一文让你轻松掌握 HTTPS(https详解)

一文让你轻松掌握HTTPS原文作者:UC国际研发泽原写在最前:欢迎你来到“UC国际技术”公众号,我们将为大家提供与客户端、服务端、算法、测试、数据、前端等相关的高质量技术文章,不限于原创与翻译。...

如何在Spring Boot应用程序上启用HTTPS?

HTTPS是HTTP的安全版本,旨在提供传输层安全性(TLS)[安全套接字层(SSL)的后继产品],这是地址栏中的挂锁图标,用于在Web服务器和浏览器之间建立加密连接。HTTPS加密每个数据包以安全方...

一文彻底搞明白Http以及Https(http0)

早期以信息发布为主的Web1.0时代,HTTP已可以满足绝大部分需要。证书费用、服务器的计算资源都比较昂贵,作为HTTP安全扩展的HTTPS,通常只应用在登录、交易等少数环境中。但随着越来越多的重要...

取消回复欢迎 发表评论: