网站开发用mvc多吗,校园门户网站开发甲方合同,北京建设网站的,织梦的手机端网站模板下载地址来源#xff1a;AI前线作者#xff1a;Ben Dickson译者#xff1a;马可薇策划 #xff1a;凌敏本文是 TechTalks 在人工智能领域最新研究发现的论文评论系列。对于精通围棋、星际争霸 2 以及其他游戏的深度强化学习模型而言#xff0c;关键的挑战之一是它们无法将其能力泛… 来源AI前线作者Ben Dickson译者马可薇策划 凌敏本文是 TechTalks 在人工智能领域最新研究发现的论文评论系列。对于精通围棋、星际争霸 2 以及其他游戏的深度强化学习模型而言关键的挑战之一是它们无法将其能力泛化到训练领域之外。这种限制使得将这些系统应用到现实世界中变得非常困难在现实世界中情况比训练 AI 模型的环境复杂得多且不可预测。最近DeepMind AI 研究实验室中的科学家们在一篇“开放式学习”倡议的博文中宣布他们“初步训练出了可以在无需接受人类交互数据的情况下游玩多种游戏的代理”。他们新的项目包括一个有现实动态变化的 3D 环境以及可以学习解决各种挑战的深度强化学习代理。据 DeepMind 的 AI 研究者称这套全新的系统是向着“创造更加通用、具备适应持续变化环境的弹性能力的代理”迈出的重要一步。该论文的发现表明在将强化学习应用于复杂问题方面取得了一些令人印象深刻的进展。但它们也提醒人们当前的系统距离实现人工智能社区几十年来一直梦寐以求的通用智能能力还有多远。深度强化学习的脆弱性强化学习的一个关键优势在于其可以在执行动作并接受反馈的同时发展出新的行为方式这种做法与人类和动物通过与环境互动学习知识的方式相类似。有些科学家将强化学习称为是“首个智能的计算理论”。深度强化学习结合了强化学习与 深度神经网络是包括 DeepMind 最著名的 AlphaGo 和 AlphaStar 模型 在内许多强化 AI 的核心。在这两种模型中AI 系统都可以在各自的游戏领域内打败人类世界的冠军。但强化学习系统的灵活度不足也是众所皆知的缺陷。举例来说一个可以在专家模式打通星际争霸 2 的强化学习模型却打不过同类型游戏比如魔兽争霸 3的任何难度。游戏中哪怕是一点点的变化都会造成 AI 模型在性能上的降级。“这些代理通常都被限制在它们训练时所用的游戏上虽然游戏的布局、初始条件、对手可能会变化但代理的目标在训练与测试时必须保持不变一丁点的偏离都会造成代理灾难性的失败。”DeepMind 的研究者在 论文 中如此写道同一篇论文也提供了他们开放式学习的研究中全部的细节。另一方面人类则非常擅长跨领域的知识转移。XLand 环境DeepMind 新项目的目标是创建“一个人工代理其行为可以超越它所训练的游戏集提供更强的泛化能力”。为此该团队创建了 XLand一个能够生成由静态拓扑结构和可移动物体组成的 3D 环境的引擎。该游戏引擎模拟了刚体物理学并允许玩家以各种方式使用这种物体例如创建坡道、阻断路径等等。XLand 是一个丰富的环境你可以在其中对代理进行几乎无限数量的任务训练。XLand 的主要优势之一是能够使用编程规则自动生成大量环境和挑战情况来训练 AI 代理。这也解决了机器学习系统的一大难题——如何获得大量人造的训练数据。根据这篇博文研究人员在 XLand 中创建了“数十亿的任务跨越不同的游戏、世界和玩家”。这些游戏包括了寻找物体这类的简单目标到 AI 代理需要权衡不同奖励的收益与代价这类复杂设定。有的游戏也包括了多个代理之间的对抗或合作元素。深度强化学习DeepMind 使用深度强化学习以及其他的几个小技巧来创建可以在 XLand 环境中茁壮成长的 AI 代理。每个代理的强化学习模型都会收到一个第一人称的世界视角、代理的物理状态比如是否持有物品以及其当前的目标。每一个代理都会对其策略神经网络的参数进行微调以获得当前目标的最高奖励。神经网络的架构包含了一个注意力机制以确保代理人能够平衡地完成主要目标所需要完成的子目标的优化工作。一旦代理能够熟练应对它的当前挑战计算任务生成器就会为代理创建一个新的挑战。每个新任务都是根据代理人的训练历史生成的有助于将代理的技能分配到更广阔的挑战之中。DeepMind 同时还利用它庞大的计算资源多亏其所有者 Alphabet 公司同步训练大量代理并在不同代理之间转移所学习的参数以提升强化学习系统的通用能力。DeepMind 使用多步骤及基于群体的机制来训练许多强化学习代理强化学习代理的性能是通过它们完成一系列未训练过的任务的一般能力来评估的测试用的任务内容包括了常见的“夺旗”和“捉迷藏”。DeepMind 称他们的所有代理在 XLand 中约四千的独特世界中训练了约 70 万个独特的游戏并在 340 万个独特的任务中经历了 2000 亿个训练步骤在论文中研究人员写道1 亿个步骤相当于大约 30 分钟的训练。人工智能研究人员写道“目前我们的代理已经能够参与每一个程序生成的评估任务除了少数几个甚至对人类来说都不可能的任务”。“而且我们看到的结果清楚地展示了跨越整个任务空间的一般化、零次行为。”零次机器学习 模型可以解决在其训练数据集中不存在的问题。在 XLand 这样的复杂空间中零次学习可能意味着代理已经获得了关于其环境的基本知识而不是在特定的任务和环境中记忆图像帧的序列。当研究人员试图为新的任务调整它们时强化学习代理进一步表现出泛化学习的迹象。根据他们的发现对 新任务进行 30 分钟的微调 就足以使用新方法训练的强化学习代理产生令人印象深刻的改进。相比之下在同样的时间内从头开始训练的代理在大多数任务上的表现几乎为零。高级别行为据 DeepMind 称强化学习代理表现出了“启发式行为”如工具使用、团队合作和多步骤规划。如果得到证实这可能是一个重要的里程碑。深度学习系统经常被批评为学习统计上的相关关系 而不是因果关系。如果神经网络能够发展出高层次的概念如利用物体创建坡道或造成闭塞它可能会对机器人和自动驾驶汽车等领域产生巨大影响而深度学习目前正在这些领域中挣扎前行。但这些都是假设DeepMind 的研究人员对在他们的发现上妄下结论持谨慎态度。他们在博文中写道“鉴于环境的性质很难确定意向性是否真的存在 -- 我们看到的行为往往看起来是偶然的但我们仍然看到它们在持续发生。”但他们相信他们的强化学习代理“意识到了它们身体的基本情况和时间的流逝而且它们可以了解它们遇到的游戏的高级结构”。这种 基本的自学技能 是人工智能界高度追求的另一个目标。智力理论DeepMind 的一些顶级科学家最近 发表了一篇论文他们在其中假设仅靠单一的奖励鞭策强化学习便足以最终达到 人工通用智能AGI的程度。科学家们认为一个拥有正确奖励的智能代理可以发展各种能力如感知和自然语言理解。尽管 DeepMind 的这个新方法仍然需要在多个人工设置的奖励上训练强化学习代理但这与他们通过强化学习实现 AGI 的总体观点是一致的。“DeepMind 通过这篇论文所展示的是一个单一的 RL 代理开发出的智能是可以达到多个目标的”Pathmind 的首席执行官克里斯·尼科尔森Chris Nicholson告诉 TechTalks。“而且它在完成一件事时学到的技能可以推广到其他目标。这与人类智力的应用方式非常相似。例如我们学习抓取和操纵物体并扩展到敲打锤子甚至是铺床。”尼科尔森还认为该论文的其他方面的发现暗示了向一般智力的进展。“父母会认识到开放式的探索正是他们的幼儿学习在世界中移动的方式。他们把东西从柜子里拿出来再放回去。他们发明了自己的小目标并进一步熟练掌握虽然这些目标在成年人看来可能毫无意义”他说。“DeepMind 正在以编程方式为其代理在这个世界上设定目标而这些代理正在学习如何逐一掌握这些目标。”尼科尔森说强化学习代理也显示出在他们自己的虚拟世界中发展 具身智能 的迹象就像人类拥有的那种。他说“这再一次表明人们学习移动和操纵的丰富和可塑性的环境有利于一般智能的出现而且智能的生物和物理类比可以指导人工智能的进一步工作。”南加州大学计算机科学副教授萨蒂亚纳拉亚·拉加瓦查里Sathyanaraya Raghavachary对 DeepMind 论文中的说法持怀疑态度尤其是关于本体感知、时间意识以及对目标和环境的高层次理解的结论。“即使是人类也无法做到对自己本体状况的完全掌控更不要说那些 VR 的代理了”拉加瓦查里在为 TechTalks 做的评论中提到过一个综合的大脑对身体的感知由两部分组成一是适量的对本体的感知二是对空间中定位的认识。“对时间的意识也是如此。大脑需要对过去有记忆同时对现在与过去时间之间的相对有认识。论文作者的意思可能是说代理在追踪他们在移动紫色金字塔这类的行为所造成的环境渐变时底层的物理模拟器也将产生状态的变化。”拉加瓦查里还指出如果代理能够理解其任务的高层结构那么为达到最佳结果所需的这 2000 亿步的模拟训练也就用不着了。“就像是他们在结论中说的一样强化学习的底层架构还缺乏实现这三件本体感知、时间意识、理解高层次任务的结构所需的东西”他说“总之XLand 也只是差不多相同而已”。模拟与现实世界之间的差距简而言之这篇论文论证了一个观点如果我们可以创建一个足够复杂的环境设计出正确的强化学习架构在计算资源上不吝啬开销让模型能够积累出足够的经验那么我们就可以在同一环境中泛化不同类型的任务。这也是人类与动物在自然进化中 开发出智能 的过程。事实上DeepMind 已经开发出了类似的项目AlphaZero一个精通双人回合制游戏的强化学习模型。通过添加零次学习元素XLand 的实验将这一概念扩展到了更高的层面。通过 XLand 训练过的代理最终都会将他们获得的经验应用于现实生活中类似机器人或自动驾驶等应用但作者并不认为这将会是一个领域的突破。我们仍然需要做出妥协手动设置限制以减少现实环境的复杂性或者增加人工强化比如为机器学习模型灌输先验知识或添加额外的传感器。DeepMind 的强化学习代理或许已经可以在 XLand 的虚拟世界中称王称霸但这些模拟的情景也仅仅只是复杂的现实世界的冰山一角而已。这种模拟与现实之间的差距将在很长一段时间内给 AI 代理带来挑战。原文链接https://bdtechtalks.com/2021/08/02/deepmind-xland-deep-reinforcement-learning/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
