西安网站建设哪家好,wordpress有没有翻书的主题,万载网站建设,汇鑫小学网站建设来源#xff1a;人机与认知实验室翻译#xff1a;朱浩然摘要#xff1a;人工智能和机器学习的最新研究在很大程度上强调了通用学习和越来越大的训练集以及越来越多的计算。相反#xff0c;我提出了一种以认知模型为中心的混合#xff0c;知识驱动#xff0c;基于推理的方… 来源人机与认知实验室翻译朱浩然摘要人工智能和机器学习的最新研究在很大程度上强调了通用学习和越来越大的训练集以及越来越多的计算。相反我提出了一种以认知模型为中心的混合知识驱动基于推理的方法该方法可以为比当前可能的更丰富更健壮的AI提供基础。 1.迈向强大的人工智能 尽管没有人完全知道深度学习或人工智能将在未来几十年发展但是如果我们要达到一个新的水平那么既要考虑过去十年所学到的知识又要研究下一步应该研究的东西。 让我们将其称为健壮的人工智能新水平虽然不一定是超人或自我完善的智能但可以依靠它以系统和可靠的方式将其所学知识应用到广泛的问题中从各种知识中综合知识来源这样它就可以灵活动态地对世界进行推理以一种我们对普通成年人所期望的方式将它在一个环境中学到的东西转移到另一环境中。 从某种意义上说这是一个微不足道的目标既不像“超人”或“人工智能”那样雄心勃勃也没有像它那样无边无际但也许是迈出重要的一步并且是可以实现的如果我们要实现这一目标那是至关重要的一步。创建我们可以信赖的人工智能无论是在我们的家中在道路上在医生的办公室和医院在企业中还是在社区中我们都可以信赖。简而言之如果我们不能指望人工智能能够可靠地表现那么我们就不应该信任它。当然事实并非如此可靠性不能保证可信度相反可靠性不能保证可信度。这只是许多前提条件之一包括价值和良好的工程实践请参阅Marcus和DavisMarcusDavis2019进行进一步讨论。 §有人可能会将强大的AI与例如狭义的智能可以很好地完成单个狭窄目标例如下棋或识别狗的品种的系统进行对比但这些系统往往以非常单一的任务为中心并且不健壮且无法转移到甚至适度不同的环境例如到不同尺寸的电路板或从一个具有相同逻辑但字符和设置不同的视频游戏到另一个视频游戏而无需进行大量的重新培训。当将这些系统应用到要在其上进行训练的确切环境时它们通常会表现出令人印象深刻的良好效果但是如果环境与他们在其上进行训练的环境有所不同有时甚至是很小的差异我们通常就无法指望它们。这种系统在游戏环境中已显示出强大的功能但在现实世界的动态开放式流程中尚未被证明是足够的。还必须将强大的智能与我称之为点画式智能进行对比点智能在许多情况下都有效但在许多其他情况下却失败了表面上看起来很相似以某种无法预测的方式。图1展示了一个视觉系统该视觉系统通常可以识别校车但是在积雪的道路中左无法识别翻倒的校车左而阅读系统右可以正确地解释一些句子但在阅读过程中却失败。存在无关的干扰物。任何密切关注AI文献的人都将意识到健壮性从一开始就一直遥遥无期。尽管已经投入了巨大的资源但深度学习迄今仍未解决该问题。相反到目前为止深度学习技术已证明是数据饥渴浅薄易碎且泛化能力有限Marcus2018。或者正如Francois CholletChollet2019年最近所说的那样人工智能一直未能达到其理想尽管我们能够设计出在特定任务上表现出色的系统但它们仍然存在明显的局限性脆弱性数据量饥饿无法理解与培训数据或创建者的假设略有不同的情况并且在没有人类研究人员的大量参与的情况下无法调整自己的工作方式来应对新颖的任务。用Facebook AI研究人员团队的话说Nieet al。2019“越来越多的证据表明最先进的模型学会了利用数据集中的虚假统计模式……而不是像人类那样灵活而可概括地学习意义。”正如Yoshua Bengio在最近的一篇文章Bengio等人2019年中所指出的那样一个关键的弱点是当需要将机器学习方法推广到训练分布之外时当前的机器学习方法似乎很薄弱而这在实践中通常是需要的。我们怎样才能将AI提升到一个新的水平§我认为如果不首先开发具有我和ErnieDavis所说的深刻理解的系统的能力我们就不会获得强大的情报这不仅具有关联和辨别复杂数据集中细微模式的能力而且还具有查看任何场景并解决一些问题例如记者可能会问谁什么什么地方为什么何时以及如何。在美好的一天像被广泛讨论的神经网络GPT-2这样的系统可以产生故事和类似的给定句子片段可以传达表面上似乎反映出深刻理解的东西。例如给定一个句子片段以粗体显示例如“两个士兵走进酒吧”它通常可以产生流利且听起来似真实的连续感例如人酒吧饮料和金钱之间的关系两名士兵走进摩苏尔的一家酒吧把所有的钱都花在了喝酒上。但是无论许多GPT-2例子看起来多么引人注目事实都是它的表示很单薄且不可靠类似于Nie等人2019所指出的那样通常在密切检查下会崩溃Marcus2020。这是两个典型案例取材自我于2019年12月在NeurIPSMarcus2019上提出的开发中基准测试。 •昨天我把衣服放在干洗店里了还没捡起来。我的衣服在哪里在我妈妈的房子里。 •原木上有六只青蛙。两只离开三只加入。现在原木上的青蛙数是十七。首先GPT-2可以正确预测查询片段后面的元素类别即位置但无法跟踪干洗位置。在第二篇中GPT-2再次正确预测了正确的响应类别在这种情况下为数字并且再次无法掌握细节。正如MarcusMarcus2020; Marcus2019所讨论的那样这种错误非常普遍。显然我们将需要更稳定的基材以实现坚固性。§一切照旧主要集中在稳步改善深度学习工具箱中的函数逼近和组合工具以及收集更大的训练集并扩展到越来越大的GPU和TPU集群。可以想象通过收集更大的数据集以各种方式扩充这些数据集以及在基础架构中纳入各种改进来改进像GPT-2这样的系统。尽管这些方法具有价值但需要进行更根本的重新思考。可能会采用更多激烈的方法。例如Yoshua Bengio为大幅扩展深度学习工具包提出了许多复杂的建议包括开发通过对分布变化的敏感性统计提取因果关系的技术Bengio等人2019和自动提取模块化的技术。结构Goyal et al。2019我都十分同情。但我认为这还不够可能需要更强有力的药物。特别是本文的建议即我们必须重新集中精力致力于开发一个框架用于构建能够常规获取、表示和操作抽象知识的系统使用这些知识来构建、更新和推理复杂的外部世界内部模型。 §从某种意义上说我将要咨询的是回归到三个问题经典人工智能知识、内部模型和推理但希望以新的方式用现代的技术来解决它们。这些问题都是经典人工智能的核心。例如约翰·麦卡锡在他的开创性论文《程序与常识》Programs withCommon Sense中指出了常识知识的价值[McCarthy 1959]道格·莱纳特Doug Lenat将常识知识的机器表达形式作为他毕生的工作来解释LenatPrakashShepherd1985Lenat2019。由TerryWinograd谷歌创始人Larry Page和Sergey Brin的导师设计的经典AI“blocks world”系统SHRLDU围绕一个内部的、可更新的世界认知模型展开该模型表示软件对一组堆叠物理对象的位置和属性的理解Winograd1971。然后SHRLDU对这些认知模型进行推理以便推断出随着时间的推移世界的状态。浏览一下机器学习领域最新论文的标题你会发现很少有人引用这些观点。一小部分人会提到推理另一小部分人可能会提到实现常识的愿望大多数人会故意地缺乏丰富的认知模型比如个人和物体它们的属性以及它们之间的关系。例如一个像GPT-2这样的系统做它所做的事情不管是好是坏没有任何明确的直接表示和随时共享的常识知识没有任何明确的推理也没有任何它试图讨论的世界的明确的认知模型。许多人认为这种缺乏费力编码的显性知识的优势。GPT-2并不是反常的而是一种当前趋势的特征即远离经典人工智能的关注转向一种不同的、更为数据驱动的范式这种范式是由深度学习的复苏所推动的大约2012年。随着DeepMind备受推崇的Atari游戏系统Mnihet al.2015的出现这一趋势加速发展正如后面所讨论的该系统在不使用任何详细认知模型的情况下成功地玩了各种各样的游戏。最近强化学习的创始人之一Rich Sutton在一篇广为阅读的文章中明确了这一趋势。这篇名为“痛苦的教训”的文章明确建议不要利用人类的知识从70年的人工智能研究中可以得到的最大教训是利用计算的一般方法最终是最有效的而且在很大程度上……研究人员试图利用人类对该领域的知识但从长远来看唯一重要的是利用计算。…人类知识方法倾向于使方法复杂化使它们不太适合利用利用计算的一般方法。在某种程度上将人类知识构建到机器学习系统中甚至在机器学习界被视为作弊当然也不可取。在DeepMind最有影响力的论文之一“掌握围棋的游戏而不需要人类知识”中其目标是完全放弃人类知识以便“学习、制表、超人在挑战领域的熟练程度”Silver等人2017。如果能从大规模的语料库中归纳出常识并且有最小的先验约束那么机器学习社区的一大群人将非常高兴。【当然盲目地同化所有人类所说的一切都会以自己的方式产生问题。正如ConceptNet的主要维护者Robyn Speer所说我们的雄心壮志应该更好“我们希望避免仅仅因为电脑对人来说很糟糕就让电脑对人来说很糟糕。我们希望提供的知识表达不仅是技术上最好的而且在道德上也很好。】模型构建也被证明是一项艰苦的工作而且普遍的看法是如果能跳过这一步生活会更轻松。§问题是即使有大量数据也有像GPT-2Radford等人2019那样的TransformerVaswani等人2017这样的基础当代神经网络收集的知识仍然是零散的和点状的可以说是有用的当然令人印象深刻但永远不可靠Marcus2020。上面的例子如果你把洗好的衣服放在家里显然不可能还在你妈妈家里和更明确的GPT-2测试中都暗含着这种不可靠和不可靠比如如果打破玻璃瓶水水可能会滚动。如果打破玻璃瓶水水可能会破裂一些并溅到地板上。水会产生气泡当瓶子中的水量增加时气泡会膨胀。如果您打破了一个装有玩具兵的玻璃瓶玩具兵可能会跟随您到那里。至关重要的是萨顿关于用“通用方法”代替人类知识的价值的例子来自封闭性领域例如游戏对象分类和语音识别而常识则是开放性的。在Go之类的游戏中获胜与解释和评估新闻故事或解决现实世界中意料之外的计划问题大不相同例如阿波罗13号机如何确定如何在宇航员所在的濒危航天器上解决空气过滤器问题快速耗尽。这是一种一次性解决方案似乎超出了无知识的深度强化学习所可能管理的范围。当要知道干洗地点在哪里时就像前面的例子一样昨天我把衣服放在干洗店里了还没有捡起来。您需要一个世界的内部模型以及一种随着时间的推移更新模型的方法这是一些语言学家称为话语更新的过程BenderLascarides2019。像GPT-2这样的系统根本没有那样的功能。当纯粹的计算能力应用于开放式领域如会话语言理解和对世界的推理时事情就不会完全按照计划进行。结果总是过于尖刻和零散不可靠。是时候反思一下了如果我们接受了深度学习的教训但人类的知识和认知模式再次成为寻求人工智能的一流公民我们的系统会是什么样子2一种混合的、知识驱动的、基于认知模型的方法许多认知科学家包括我自己都以一种循环的方式来对待认知有机体例如人类从外部吸收感知信息他们基于对信息的感知建立内部认知模型然后做出尊重的决策。这些认知模型其中可能包括有关外部世界中存在哪种类型的实体它们的属性是什么以及这些实体之间如何关联的信息。认知科学家普遍认识到此类认知模型可能不完整或不准确但也将它们视为有机体如何看待世界的关键Gallistel1990GallistelKing2010。即使是不完美的形式认知模型也可以作为世界的有力指南。在很大程度上有机体在世界上的繁荣程度取决于这些内部认知模型的良好程度。 电子游戏实质上是按照类似的逻辑运行的该系统具有某种世界内部模型并且该模型会根据用户输入以及游戏模拟世界中其他实体的活动定期进行更新。游戏的内部模型可能会跟踪角色的位置角色的健康状况和所有物等。游戏中发生的事情用户朝特定方向移动后是否发生碰撞是该模型动态更新的功能。语言学家通常根据一个相似的循环来理解语言句子中的单词被解析成一个语法映射到一个语义上这个语义指定了各种实体参与的事件之类的事情。该语义用于动态更新世界模型例如各种实体的当前状态和位置。机器人学的许多工作虽然不是全部都是以类似的方式进行的感知、更新模型、做出决策。有些工作特别是对物体抓取的端到端的深度学习不起作用。 当前论文最强烈、最核心的观点是如果我们不做类似的事情我们就不会成功地寻求强大的智能。如果我们的人工智能系统不能利用对世界及其动力学的大量知识对外部世界的过于详细、结构化、内部模型进行描述和推理它们将永远类似于GPT-2它们会利用大量的相关数据库正确地处理一些事情但它们不会理解正在发生的事情我们也不会能够依靠他们特别是当现实世界中的情况偏离训练数据时就像他们经常做的那样。【如果GPT-2的输入范围扩大到包括感性输入而不仅仅是文本输入它会做得更好吗也许但我不认为仅仅扩大输入范围就能解决系统缺乏明确的内部模型的根本问题。同时值得注意的是盲童发展出丰富的内部模型学习了相当多的语言以及如何将其与这些模型联系起来完全没有视觉输入LandauGleitmanLandau2009。】 § 为了拥有能够以健壮的方式对世界进行推理的系统我们需要什么计算先决条件想要将深度学习主要侧重于学习和经典AI更关注知识推理和内部认知模型之间的桥梁联系起来将需要做什么作为热身运动可以考虑将简单的任务作为较大挑战的替代品。假设您正在构建一个机器学习系统该系统必须基于少量数据来获得广泛范围的概括并且您将获得少量这样的训练对其输入和输出均表示为二进制数对于任何人来说很快就会发现这里有一个笼统的概括称为“规则”例如恒等式的数学定律fx x 0。适用于新案例[f1111 1111; f10101 10101依此类推]。令人惊讶的是一些神经网络体系结构例如多层感知器最近被一本教科书描述为深度学习的典型例子遇到了麻烦。这是一个多层感知器的示例输入在底部输出在顶部中间是一个隐藏层。对于任何接触过神经网络的人来说它应该看起来很熟悉多层感知器接受身份功能训练这样的网络可以容易地学习将输入与输出相关联并且实际上“通用函数逼近”的各种定律可以保证这一点。给定足够的训练数据和通过训练数据进行的足够迭代网络可以轻松掌握训练数据。当一切顺利的时候例如如果架构设置正确并且没有陷入学习的局部极小值它还可以推广到其他示例这些示例在重要方面与所看到的示例相似。在“培训分配范围内”例如但是在训练分布之外进行泛化却是完全不同的局面这样的例子表明尽管在训练分布范围内的案例表现良好多层感知器神经网络毕竟还没有学习到身份关系。如果同一系统仅针对偶数在fxx上进行训练则不会将身份函数扩展到奇数这不在训练分布范围内Marcus1998。举几个例子每个输出节点包括最右边的代表“ 1”位的节点都应以类似的方式处理我们采用了最左边的位抽象为最右边的位的抽象概念。经过反向传播训练的多层感知器对不同的东西有反应。最右边的节点始终为零因此网络将继续预测最右边的节点将始终为零而不管输入的性质如何例如得出f11111110。网络以其自己独特的方式进行了概括但并未概括人类自然会发生的身份关系。添加隐藏层不会改变网络的行为Marcus1998添加具有更多节点的隐藏层也不会改变Marcus1998。当然可以将任意数量的解决方案组合在一起来解决特定的问题仅从偶数、二进制示例中学习身份我在这里仅使用简单的身份示例仅用于说明目的但是在训练分布之外进行外推的问题很普遍并且越来越得到认可。JoelGrus在这里给出了一个类似的例子游戏fizz buzz和Lake and BaroniLakeBaroni2017展示了一些现代自然语言系统如何容易受到类似问题的影响无法以各种方式将抽象模式概括为新单词。Bengio在最近的NeurIPS演讲Bengio2019中对现存的中枢神经网络的能力进行了限制。在规范的神经网络架构中广泛的共性如同一性的非均匀扩展是非常普遍的在我看来它仍然是进展的主要障碍。 §从本质上讲某些种类的现存神经网络例如此处讨论过的反向传播训练的多层感知器在两方面表现出色记忆训练示例以及在围绕这些示例的点云内插点这些点围绕超维空间的某些簇我称之为在培训空间中进行概括但在培训空间之外在Bengio的措辞中即培训分布中它们的推广效果很差。 多层感知器善于在训练样本空间内推广而不善于在训练样本空间外推广同一性函数。结果是出现了两个密切相关的问题1.特质在开放式领域中如果系统缺乏可靠的方法来概括超出训练示例空间的内容则不能信任这些系统。如果你把每个单独的系统看作一个函数逼近器那么目前流行的系统往往擅长于记忆示例并且擅长于训练示例附近的许多尽管不是全部示例这使得它们对于围绕分类的许多应用程序很有用。但是如果超出培训范围他们就很穷了。例如最近的一个数学学习系统擅长于1121113到111116但在11111117和所有更大的例子中都失败了。想象一下在一个计算机程序中编写一个FOR循环其中只有小于7的计数器值才能信任执行。相比之下微软Excel的Flash-fill是一种基于归纳程序综合的符号系统在许多情况下更有效PolozovGulwani2015。2.过分依赖训练制度的具体细节尽管所有正常的人类学习者都掌握了他们的母语和对世界的理解但尽管环境千差万别神经网络往往对确切的细节非常敏感例如训练项目的呈现顺序因此有一篇关于神经网络“课程”的文献。同样地三十年来人们已经知道它们容易受到灾难性干扰的影响即早期的关联被后来的关联覆盖McCloskeyCohen1989这使得它们对项目呈现的顺序非常敏感。潜在的解决方案仍在定期提出McClelland2019年但问题仍然存在。同样正如最近的一篇论文Hillet al.2019所说“网络表现出的泛化程度在很大程度上取决于给定任务实例化的环境细节。” §特质和无法推断超出训练分布范围与我们许多常识性知识的普遍性相矛盾。这也使因果关系难以估量另见Pearl和MackenziePearlMackenzie2018。从引言中扩展一个例子大多数普通的成年人和儿童将认识到大概是从特定的经验中得出的以下抽象的因果归纳是正确的如果您打破了一个盛装液体的瓶子一些液体将会其他事情正在发生相等可能会越过瓶子。这样的真理是抽象的因为它们不仅适用于某些特定项目而且适用于大型的不限成员名额的实体类别而与瓶子的颜色或形状或瓶子的大小无关无论瓶子是否装有水咖啡或不寻常的软饮料。我们希望对于装有滚珠轴承或游戏骰子的瓶子也能有类似的概括即使我们以前对破碎瓶子的经验几乎只涉及盛装液体的瓶子。几乎每个人也都会意识到以下概括是不切实际的如果您打破了一个盛装液体的瓶子那么一些液体其他东西将相等可能会卷走300米。同样无论个人经验如何我们都可以通过多种方式扩展此知识因为对于大小不一的瓶子甚至比以前遇到的瓶子大或小的瓶子这种主张都不太可能成立。在这种意义上我们如何代表和操纵并获得抽象的知识不仅涉及特定实体还涉及整个事物类 外推的挑战意味着像反向传播训练的多层感知器这样的通用工具本身并不是适合该工作的工具。相反我们必须找到一种替代的机制来学习表示和扩展抽象知识。 2.1混合架构 2.1.1变量上的符号运算提供了唯一的已知解决方案但解决方案是局限的解决方案变量上的符号运算提供了一个潜在的答案-每天几乎每秒使用数万亿次的解决方案几乎是世界上所有软件的基础。特别是实际上每个计算程序都包含四个基本概念变量实例将变量绑定到实例的绑定以及对变量的操作。这些想法中的每一个都是小学代数所熟悉的其中像x和y这样的实体是变量。特定数字2、3.5等是这些变量可能绑定的实例例如x当前可能等于3。操作包括加法和乘法。这些使得可以表示诸如y x 2之类的关系这些关系自动扩展到某个类中的所有值例如所有数字。将变量连接到实例的过程有时也称为变量绑定。当然计算机程序是建立在同一根基石上的。算法主要是根据对变量执行的操作来指定的。将变量绑定到实例调用算法执行操作并返回值。重要的是核心操作的指定方式通常适用于某个类的所有实例例如所有整数、所有字符串或所有浮点数。核心操作通常包括一些基本操作如算术运算加法、乘法等、比较x的值是否大于y的值和控制结构对变量n当前绑定到的任何值执行n次操作如果x的值超过y的值则选择备选方案a否则选择备选方案b等。一级近似忽略bug、程序员逻辑中的错误等这意味着正确实现的函数适用于某个类中的所有输入完全独立于它们可能暴露于或不暴露于的输入。值得注意的是这种根据操作定义的功能定义事物的方法是与标准机器学习完全不同的范例。机器学习系统通常通过Judea Pearl将其比作曲线拟合的过程来学习将输入变量与输出变量相关的函数而程序员通常根据变量的运算来独立于训练数据来定义其算法。不用说它已经很好地服务于传统的计算机程序员支持从操作系统到Web浏览器到视频游戏再到电子表格等的所有内容。至关重要的是通常将系统对变量的核心操作构建为独立于经验而系统地工作。例如微处理器中的循环移位操作的机制是由一组并行的子操作定义的每个子操作一个位直到微处理器字的宽度。不管以前是否使用过该操作其操作都相同因此无需学习。程序员可以放心地预期无论经验如何换档操作都将起作用并且无论经验如何将来都将以此方式继续进行。所有这些机制变量实例绑定和操作的优点在于它允许程序员以某种抽象级别指定事物并以某种可靠性作为副产品。总的来说关于变量绑定实例和对变量的操作的这四个假设构成了符号操纵的核心Newell1980Marcus2001。符号本身只是对其他系统使用的事物进行编码的简单方式例如用于表示ASCII代码中的字母的二进制数字模式或允许神经网络中的输出节点表示特定单词的编码据我所知目前所有的系统都使用它们请参阅Marcus 2001第2章。某些符号处理系统可能只有少量的操作例如加法连接和比较而另一些符号可能具有更丰富的操作例如复杂逻辑公式的统一就像微处理器的大小可能有所不同一样。他们的核心指令集。可以在符号处理体系结构上构建递归但这并不是绝对的逻辑要求。正如我所说Marcus2001Marcus1998MarcusVijayanBandi RaoVishton1999BerentMarcusShimronGafos2002BerentVakninMarcus2007某种形式的符号操纵似乎对人类认知是必不可少的比如当一个孩子学会了一种抽象的语言模式或者一个像姐妹这样的词的含义可以被理解应用于无限多的家庭或者当一个成年人以一种新颖的方式扩展了一种熟悉的语言模式这种方式超越了训练分布Berent et al.2002Berent et al.2007。一些最有力的证据来自1999年的一项研究Marcus等人。1999年我的同事和我展示了7个月大的婴儿能够识别简单的抽象模式比如拉塔塔中的ABB模式并将它们从一组训练样本中推断出完全由不同音节组成的新字符串这些音节在语音上与他们的训练集没有重叠。随后的研究表明即使是新生儿似乎也有能力进行这种推断。Gallistel和KingGallistel和King2010认为变量的存储和检索对于动物认知至关重要。例如蜜蜂似乎能够将太阳方位角功能扩展到它们未曾接触过的光照条件。Dyer和Dickinson1994年。符号处理的通用机制也为结构化表示提供了基础Marcus2001。例如计算机程序通常使用由符号构成的树形结构这些符号通过对变量的操作组合而成以表示各种各样的事物例如层次结构文件夹或目录。同样符号操纵的机制允许跟踪个体随时间变化的属性例如以数据库记录的形式。这些能力似乎对于人类语言如递归句子结构以及随着时间的变化而对个体和对象的了解至关重要Marcus2001。【《代数思维》的第5章提供了一些示例这些示例在消除连接主义模型的范围之外其中许多示例依赖于实体随着时间的推移而存在。这种机制非常强大。世界上所有的Web浏览器世界上所有的操作系统世界上所有的应用程序等都建立在它们之上。 具有讽刺意味的是几乎在世界上所有神经网络的规范和执行中都使用了相同的工具。】§然而在历史上主流的深度学习在很大程度上试图摆脱符号操纵机制而这种机制往往是有意回避的这是为什么神经网络提供了一种替代经典范式的号召的一部分。鲁梅尔哈特和麦克莱兰1986#39979在著名的PDP书籍中将符号操纵视为一种边缘现象而不是人类计算的本质。2015年辛顿将符号比作“发光的以太”认为将符号逻辑作为人工智能的一个组成部分的追求是认为光波只能通过在发光的以太中造成干扰而在太空中传播的信念这是不正确的……与科学家……被令人信服的但不正确的类比误导了他们只知道他们知道具有所需特性的系统。令人惊讶的是在神经网络上的大量工作中也缺少个人的数据库式记录之类的想法而仅在很小的研究中发现了诸如层次结构化句子之类的复杂结构化表示形式而这两者的规范输入和输出是简单的矢量或二维位图而巧妙地避免了针对个人的分层数据结构和记录。DeepMind有趣的新MEMO架构Banino等人2020年几乎代表了一个记录数据库。并非一定要这样。例如原则上人们可以尝试构建与符号操纵兼容的神经网络采用的术语中的“实现连接主义”也可以尝试建立与之兼容的神经网络。无需依靠符号操纵原理“消除联系主义”或两者之间的某种混合就可以进行操作。到目前为止绝大多数工作都是消除主义的但这种优势反映了社会学事实而不是逻辑上的必要性。我预计几年内许多人会想为什么这么长时间以来深度学习在很大程度上没有使用符号操纵这一极具价值的工具实际上人类所有伟大的工程成就都依赖于某种符号推理人类在日常认知中利用它们的证据是巨大的。事实上正如我将在下面讨论的随着一种新的、更广泛的实用主义的暗示事情终于开始改变了我希望这种实用主义能够克服先前的教条。本文的第一个主要主张是要建立一种强大的知识驱动的AI方法我们必须在工具包中使用符号处理机制。太多有用的知识是抽象的如果没有表示和操纵抽象的工具就无法做到并且迄今为止我们知道的唯一可以可靠地操纵这种抽象知识的机器就是符号操纵的设备。遗憾的是就变量本身而言运算的手段对学习没有任何帮助。【归纳逻辑编程CropperMorel和Muggleton2019年是一种纯粹基于规则的学习方法值得一些考虑尽管不在本文的讨论范围之内。】正是从那里混合架构的基本需求结合符号操作和其他技术如深度学习最根本的东西出现了。深度学习提高了学习的门槛特别是在大型数据集上符号操作为表示和操作抽象设置标准。很明显我们需要把两者或类似的东西【虽然我很有信心强大的智能将依赖于某种混合将符号运算与机器学习机制相结合但目前尚不清楚深度学习如目前实践的是否会在其作为主导机器学习机制的角色中发挥最后的作用或者这种角色是否会在某种继承者身上发挥e、例如在数据和能源使用方面更易处理或更高效。诸如统计关系学习RaedtKerstingNatarajanPoole2016和概率规划Bingham et al.2019等受到较少关注的方法非常值得考虑有关概述请参见van den Broeckvan den Broeck2019。】结合起来。2.1.2混合动力通常是有效的混合动力并不是什么新鲜事物Pinker和我在三年前Marcus等1992提出关于儿童如何学习英语过去时的最好解释是混合动力一条规则添加到动词词干形成规则动词的过去式以及类似神经网络的系统来获取和检索不规则动词。长期以来明显需要将符号知识与感知知识相结合例如人们希望能够通过将对马的外观的感知知识与将斑马比作有条纹的马相类似的语言定义相结合来识别斑马【现有的零射击学习文献试图整合各种形式的多模态知识但据我所知目前没有一个系统能够利用字典定义中的精确信息。】。 像Ron SunSun1996这样的计算机科学家在整个1990年代都倡导混合模型。ShavlikShavlik1994表明有可能将有限的逻辑子集转换为神经网络。D’AvilaGarcezLamb和GabbayD’Avila GarcezLamb和Gabbay2009年是有关神经符号方法的重要早期工作。坏消息是这些早期的混合方法从来没有受到太大的关注。当时的结果并不令人信服可能部分是因为在TPU之前的日子里神经网络本身的能力不足。而且神经网络社区经常不屑一顾混合动力以及涉及符号操纵的任何事物。直到最近混合符号在历史上一直被困在符号方法和神经方法之间的交火中。好消息是符号操纵世界和深度学习领域之间的早就应该融化了。例如Yoshua Bengio在我们2019年12月的辩论中谈到了合并可以按名称传递变量的技术这是一些早期计算机语言中使用的标准符号操作技术。越来越多的努力正在积极尝试将符号和神经网络更紧密地构建在一起有时出于实际需要有时出于研究工作以开发新方法。 世界上一些最庞大、最活跃的商业人工智能系统比如谷歌搜索实际上是混合了符号操作和深度学习的混合体。虽然Google搜索并不是我们心目中强大的人工智能但它是一个高效的人工智能信息检索系统能够以高精度、大容量的方式工作。它的设计者以高度数据驱动的方式对其进行了广泛的优化目前根据多种来源通过混合经典的、符号操作的人工智能技术例如表示和查询谷歌知识图的工具它使用经典的符号图结构表示知识这些符号图结构使用神经网络社区的工具例如BERT和RankBrain。谷歌做了大量的实证实验看看什么在大范围内运作良好而事实上即使在深度学习的时代他们仍然使用谷歌知识图这既说明了符号的价值也说明了混合动力车的价值。不幸的是我知道没有详细的公开讨论各个组成部分的相对优势和劣势。OpenAI的Rubik求解器OpenAI等人2019尽管它并未如此推销是用于解决Rubik立方体的认知方面的符号算法与针对手动操作方面的深度强化学习的混合体。Mao等人MaoGanKohliTenenbaumWu2019最近提出了一种用于视觉问答的混合神经网络符号系统称为NS-CL神经符号概念学习者的缩写该系统超过了他们研究的深度学习方案。Janner等人的相关工作Janner等人2018年。通过对单个对象的显式记录进行深度学习以便做出预测和基于物理的计划远远超过可比的纯黑盒深度学习方法。Evans和GrefenstetteEvans和Grefenstette2017展示了混合模型如何更好地捕捉各种学习挑战例如挑战multlayer感知机的游戏fizzbuzz。Smolensky和Schmidhuber等团队将BERT与张量积Smolensky et al.2016相结合形成了一个表示符号变量及其绑定的正式系统Schlag et al.2019创建了一个称为TP Transformer的新系统从而在一个数学问题集上取得了更好的结果。神经符号模型的基础工作是DAvila GarcezLambGabbay2009它检验了符号系统和神经网络之间的映射并显示了传统神经网络中可以表示的知识种类的重要限制并从表征和推理能力的角度论证了符号和神经网络在构建混合系统中的价值。在一级近似下传统的神经网络可以被认为是命题逻辑的引擎并且缺乏表示量化语句的好方法就像在谓词演算中使用诸如every和some之类的量词一样。逻辑张量网络SerafiniGarcez2016旨在在深度张量神经网络中实现形式逻辑。统计关系学习Raedtet al.2016代表了另一种有趣的方法旨在将逻辑抽象和关系与概率和统计结合起来正如Vergari et al.最近关于概率电路的工作一样VergariDi MauroVanden Broek2019。Domingo的Markov逻辑网络试图将符号操作与机器学习的优势结合起来RichardsonDomingo2006。Uber的PyroBingham等人2019年Arabshahi等人ArabshahiLuSinghAnandkumar2019展示了如何通过用作堆栈的外部内存来扩充树LSTM。Fawzi等人FawziMalinowskiFawziFawzi2019最近提出了一个用于搜索多项式不等式证明的混合系统。Minervini等人Minervini、Bošnjak、Rocktäschel、Riedel和Grefenstette2019最近提出了一种混合神经符号推理系统称为贪婪神经定理证明器GNTP可用于大规模数据库Gupta等人Gupta、Lin、Roth、Singh和Gardner2019也在推理方面取得了进展。艾伦人工智能研究所Allen Institute for AI的亚里士多德ARISTO是一个复杂的多部分混合系统在八年级科学考试中显著优于其他系统Clark et al.2019。Battaglia已经发表了许多关于物理推理系统的有趣论文这些系统集成了符号图和深度学习例如CranmerXuBattagliaHo2019所有这些只是一个快速发展领域的几个例子。现在阻碍胜利者还为时过早但要构建将符号方法的优势与机器学习的见解相结合的体系结构还有很多第一步以便开发更好的技术从大型、通常是嘈杂的数据集中提取和概括抽象知识。2.1.3对混合模型和符号操纵的普遍反对意见尽管人们对研究混合模型的兴趣日益浓厚并且有多种考虑但是在机器学习社区的某些地方人们对符号操纵的厌恶情绪日益高涨。如前所述例如杰弗里·欣顿Geoffrey Hinton认为欧洲对混合动力汽车的投资将是“巨大的错误”并将混合动力汽车的研究比作电动汽车时代使用过时的汽油发动机。但是据我所知Hinton近年来没有写过多篇有关他为何反对部分象征性混合模型的文章。以下是我从其他人那里听到的一些常见异议并对每个异议都做出了简短回应•符号在生物学上不合理。对此异议至少存在四个问题关于相似的观点另请参见Gallistel和KingGallistelKing2010年。首先仅仅因为我们还没有确定支持符号操纵的神经机制并不意味着我们永远不会。已经确定了一些有希望的可能的神经基质FranklandGreene JD2019MarcusMarblestoneDean2014LegensteinPapadimitriouVempalaMaass2016其他文献指出了理论上合理的神经基质Marcus2001。没有令人信服的证据表明没有这样的机制根本不可能存在于大脑的湿部。今年我们已经看到树突中的一个小隔间可以计算XORGidon etal.2020这增加了单个神经元可能比通常假设的复杂得多的可能性。例如对符号操作至关重要的变量值的存储和检索可能在单个神经元内起作用GallistelKing2010。第二大量心理学证据见上文第2.1.1节支持这样一种观点即符号操作在大脑中是具体化的比如婴儿将新的抽象模式扩展到新项目的能力成年人将抽象的语言模式概括为他们没有直接数据的非本族语的能力蜜蜂将太阳方位角函数概括为他们没有直接观察到的光照条件的能力。人类还可以学习在外部表示的符号上应用形式逻辑并编程和调试符号表示的计算机程序所有这些都表明至少在某些配置中神经软件确实可以在某种程度上部分受内存限制操纵符号。我们可以理解语言本质上是无限多样的从无数的句子中推断出无数的意义。在整个认知过程中作为变量运算特征的自由概括是普遍存在的。第三现有的神经认知证据的缺乏几乎没有告诉我们什么。我们目前还没有详细了解加里·卡斯帕罗夫水平的象棋是如何在大脑中实现的但这并不意味着加里·卡斯帕罗夫的象棋在某种程度上依赖于非神经机制。最后即使结果表明大脑没有使用符号操纵机制对于人工智能为什么不能使用这些机制也没有原则性的论据。人类没有浮点运算芯片但这并不意味着他们在人工智能中应该是多余的。人类显然有写一次的机制可以立即检索短期记忆这是某种形式变量绑定的前提但我们不知道相关机制是什么。这并不意味着我们不应该在人工智能中使用这种机制。•过去符号系统/混合系统运行不佳。我经常听到这种说法但是在我看来这是一个奇怪的说法。将混合模型描述为明显无效或过时的混合体这并不是现实的准确描述而实际上已经对其进行了积极有效的研究如2.1.2.10节中所述。•符号操纵/混合系统无法缩放。尽管这里有一些真正的问题需要解决而且必须花大量的精力来约束符号搜索以便能够实时处理复杂的问题Google说知识图似乎至少是这一异议的部分反例最近在软件和硬件验证方面取得的大规模成功也是如此。Minervini等人Minervini等人2019年和Yang等人YangYangCohen2017年等论文在构建端到端可区分的混合神经符号系统方面取得了实际进展这些系统在规模上起作用。与此同时。没有正式的证据证明不可能充分缩放给予适当的启发存在。在过去的三十年中我看到了很多对符号的偏见但是我还没有看到对它们的有说服力的论据。2.1.4确定给定系统是否为混合系统并不总是一件容易的事一种常见的虽然不是普遍的对符号的偏见产生了一个特殊的社会学事实研究人员偶尔会建立包含符号操纵装置的系统却不承认甚至不考虑事实他们已经这样做了我在马库斯2001中给出了一些具体的例子。例如如上所述OpenAI Rubik的立方体解算器OpenAIet al.2019包含了一个被称为Kociemba算法的符号组件但只有非常细心和成熟的读者才会认识到这一点。“混合”和“象征”这两个词从未被提及。而“神经”这个词出现了13次。因为你不能总是通过粗略的检查来告诉我们一个给定的系统是如何工作的所以从逻辑上讲有可能无意中构建一台有效地执行符号操作的机器而没有意识到这样做。事实上一个网络设计师可能会无意中发现一些与符号FPGA同构的东西而从来没有意识到它。正如本吉奥在我们最近的辩论后对话中所建议的那样深度学习系统可以为符号操纵提供一个真正的替代方案这是可以想象的我敢打赌深度学习变体可以实现人类可能实际执行的类似符号的计算形式但使用的基底与GOFAI非常不同限制与人类经历的类似例如只有很少的递归级别在GOFAI推理中除了能够学习和处理不确定性之外还避免了与搜索问题相关的主要效率问题。我们不能想当然地认为任何给定的神经网络都提供了一种替代方法。评估一个系统是执行“类似符号的计算”的替代方案还是使用真正的符号操纵操作进行计算的唯一方法是探索映射考虑该体系结构及其组件是否映射到符号操纵的组件在某种意义上化学映射到物理学。MarrMarr1982的计算水平清楚地表明了这一点任何给定的计算都可以以多种方式实现并且不是每个实现都是透明的。化学映射到物理上但这并不意味着映射很容易被发现。“正确”的神经网络可能映射到符号操纵机器上也可能映射到符号操纵机器上真相可能很难辨别。我坚信任何健壮的系统都会有某种机制来绑定变量并在绑定后对这些变量执行操作。但我们看不出来。 §为了避免这听起来很奇怪回想一下映射对于理解神经科学以及它与计算的关系同样重要。无论我们的大脑中实现了什么样的计算都是在没有任何有意识的决策的情况下实现的它们是进化的。其中很少有透明的。这是神经科学家和那些致力于以大脑为灵感的人工智能方法的人工智能研究人员的工作他们对大脑进行逆向工程以找出存在哪些计算。任何驱动大脑的东西都可能会或不会映射到我们目前的理论。当我们评估大脑如何工作的一些理论时我们正在评估大脑的机制是否符合这个理论。有些理论将包含与大脑中发生的实际过程同构的结构而另一些则不会。Knudsen和KonishiKnudsen和Konishi1979对谷仓猫头鹰声音定位的仔细研究是一个很好的例子说明了一个神经回路最终是如何被破译并映射到基础计算上的很少有研究项目能与之相媲美。人工智能中也出现了类似的问题当一个系统工作时理解是什么驱动了它的性能是有价值的但往往是不重要的。一个系统将所有的经验存储在一个单独的内存中而不是可以检索和计算出来的可以用“神经”的术语来描述但是它的组件可以识别地起到维护变量、绑定、实例和变量操作如检索的作用。如果我们通过某种搜索过程无论是随机的、试错的、进化的、AutoML的或其他方法来创建适当的综合系统我们将解决部分工程问题但不一定科学地理解是什么使这些模型起作用。后者是逆向工程的工作是发现和拒绝可能的映射就像神经科学一样。如果完美的神经网络降临到我们身上我们可能会通过广泛的测试发现它是有效的要理解它是如何工作的还需要另一个科学发现阶段。如果我们发现一些成功的神经网络结果发现它的组成部分恰好完美地映射到符号操作上那么这将不仅是神经网络的胜利而且也是符号操作的胜利——不管系统设计者的意图是什么。相应地如果没有一个系统的组成部分映射到符号操纵上这将是符号操纵的失败。任何一个通情达理的人都会认识到到目前为止理解人类大脑是如何工作的是多么的困难而当神经网络变得越来越复杂时同样的道理也会变成现实。人类大脑本身就是一个令人印象深刻的神经网络的例子它有效地通过进化降临到我们身上它似乎工作得很好但我们不知道为什么【寻求实现细节和算法描述之间的映射如果它们存在的话也可能具有实际价值因为例如一旦发现了那些映射一些低级的神经网络类计算可能会更有效地在纯符号级别上进行计算。相反一些被称为神经网络的模型如Lample和Charton最近关于符号集成的研究Lample和Charton2019经过仔细检查结果发现有严重的局限性并且严重依赖于符号处理器Davis2019。对符号和神经成分如何协同工作有一个清晰的、有原则的理解可能是非常有价值的。】2.1.5总结符号操作特别是对变量的操作机制提供了一个自然但不完整的解决方案来解决在训练机制之外进行外推的挑战用对变量的操作来表示一个算法并且它固有地被定义为扩展到某类的所有实例。它还提供了一个清晰的基础来表示结构化的表示例如在生成语言学中被视为基础的树结构和记录个人及其行为属性。它所缺乏的是一个令人满意的学习框架。混合可以是两个世界的最佳结合的一种方式从大规模数据集学习的能力如深度学习所示以及表示抽象表示的能力这些抽象表示是世界上所有计算机编程语言的语法和语义货币。我猜想它们是安全获得可靠情报的先决条件。用于研究混合模型的资源远远少于用于避免符号操纵的“纯”深度学习系统的资源但第2.1.2节中回顾的来自广泛研究实验室的越来越多的工作更不用说谷歌搜索的成功所有这些都表明了对混合体系结构进行更深入研究的价值。遗憾的是我们还没有走出困境。将强大的数据驱动学习技术与符号操作的表示和计算资源相结合的混合模型可能是鲁棒智能所必需的但它们肯定是不够的。接下来我将描述三个进一步的研究挑战。2.2大规模的、抽象的、有因果关系的知识 符号操作允许抽象知识的表示但是积累和表示抽象知识的经典方法一个称为知识表示的领域一直是残酷的艰苦工作远远不能令人满意。在人工智能的历史上Doug Lenat于1984年发起的以机器可解释的形式创造常识知识的最大努力是被称为CYC的系统Lenat等人1985。它需要数千人-年的时间几乎是巨大的努力以精确的逻辑形式捕捉心理学、政治学、经济学、生物学和许多其他领域的事实。到目前为止回报并不令人信服。关于CYC的报道相对较少这使得评估变得很有挑战性尽管你可以看到这个有趣的黑客新闻线索商业应用程序看起来很温和而不是势不可挡。大多数人如果他们了解CYC的话都认为它是一种失败而目前很少有研究人员广泛使用它。似乎很少有人愿意尝试建立具有可比广度的竞争体系。像googleknowledgegraph、Freebase和YAGO这样的大型数据库主要关注事实而不是常识。考虑到CYC需要付出的努力以及它对整个领域的影响是多么的小很难不被GPT-2这样的Transformers所激发。当他们工作得很好时他们看起来几乎是神奇的好像他们自动地、几乎毫不费力地吸收了世界上大量的常识知识。从某种程度上说Transformers给人的感觉是它将自己所吸收的任何知识与对人类语言看似复杂的理解无缝地结合在一起。这对比鲜明。然而知识表示社区几十年来一直在努力用精确的方式来描述容器及其内容之间的关系而自然语言理解社区几十年来一直在努力进行语义分析而GPT2这样的Transformers似乎是在不借助于语法的情况下解决了棘手的问题任何明确的知识工程或语义分析-无论如何。例如在GPT-2中没有知识工程规则没有相对于容器的液体规格也没有关于水甚至是液体的规格。在前面的示例中如果打破玻璃瓶装的水装满的水可能会流出会发出飞溅的声音。从概念H20化学中水的表达到单词water都没有映射也没有动词语义的任何显式表示形式例如中断和流动。再举一个例子GPT-2似乎也对火进行了编码点火的一个好方法是使用打火机。点燃火的一个好方法是使用火柴与Lenat数十年的以机器可解释的形式对人类知识进行手工编码的项目相比乍看之下这既代表了一夜的成功也代表了惊人的劳动力节省。§问题在于GPT-2的解决方案只是对知识的近似不能替代知识本身。特别是它所获得的是近似的统计数据即单词在大型语料库中是如何共存的而不是概念本身的清晰表述。换句话说它是单词用法的模型而不是思想的模型前者是后者的近似模型。这样的近似值就像是一个复杂的三维世界的阴影。通过使用与瓶子相关的单词瓶子和打破的概念在语料库上投射了阴影这些阴影编码了人类互动的一个子集。Transformers分析单词留下的阴影就像柏拉图的洞穴寓言中的囚徒一样。麻烦的是对阴影的分析即在这些语料库中如何使用单词的共现统计分析并不一定能揭示瓶的真正含义或破碎含义。事实是GPT-2几乎不了解与它所分析的单词相关的概念的相关性无关紧要。考虑一下发生了什么情况例如按照弗兰克·基尔Frank Keil1992的经典实验如果您将感知功能与更深的概念理解相对立如果您在浣熊上穿上服装使它看起来像臭鼬那将是臭鼬。如果将飞机喷漆成看起来像龙那将是龙。显然仅了解某个概念中如何使用单词的某些统计属性不足以理解基础概念的本质例如使飞机变成飞机而不是龙的原因反之亦然。这份最近匿名的正在审查的手稿也提出了类似的观点。我想起了像Nigel Richards这样的Scrabble冠军他们在不懂法语的情况下赢得了法国Scrabble™比赛各个单词仅用作游戏代币而与它们的含义无关。本质上GPT-2可以预测单词序列作为游戏代币的属性而不会暗示所引用的基本概念。它做得如此之好以至于有时会引起“伊丽莎效应”在这种效应中幼稚的人对机器的归属要比对机器的实际归属更多但是除了表面的概念理解之外别无所求。如果我们继续探究起火的例子我们会得到类似的结果点火的一个好方法是用干燥的棉球遮盖保险丝点燃火的一个好方法是使用一品脱大小的炉子“火”“融合”“光”等词都是相互关联的GPT-2能够做到这一点但这还不足以让GPT-2引发对火的性质的概念性理解结果参差不齐。换句话说就像朱迪亚·珀尔Judea Pearl所说的那样这种异常行为是您试图通过近似统计单词用法的统计曲线来诱导世界如何运转时得到的结果而不是归纳出对世界的更抽象因果的理解。【在深度学习社区的某些部分中有一种积极的努力试图整合因果方法我的猜测是如果不在因果知识的表示和操作上增加一些固有的约束这就不可能成功很可能导致某种混合网络。】有时行得通有时却行不通。一个人不可能用如此缺乏可靠性保证的零件来设计一个健壮的系统。§用如此低的可靠性试图用零件构建系统的一个问题是下游推理将不可避免地受到影响。拥有知识的全部目的是将其用于行动解释和决策中。如果您不知道会引起火灾的原因或者瓶子破裂时会发生什么则很难推断周围的情况。同样您不能可靠地进行计划。想象一下一个家用机器人无法点燃顽固的炉灶用干燥的棉球花了几个小时一个又一个地覆盖了一个保险丝。语言理解也不可避免地会受到影响因为我们经常根据话语的真实性和语境来消除话语的歧义TanenhausSpivey-KnowltonEberhard和Sedivy1995。像GPT这样的系统具有一定程度的词语用法语境但缺乏对认知语境和合理性的可靠表示。在充满了如此浅薄的概念理解的系统中可解释性和可解释性也将变得难以捉摸。将棉球和打火机凝结成同等有效的点火方式的系统可能没有内部一致性来满足可解释性的需求。如果对基本概念没有连贯的因果理解则可能没有办法在复杂的实际环境中设计鲁棒性。Pearl是对的如果我们的系统仅依赖于曲线拟合和统计近似则它们的推论必然会很肤浅。这使我想到了本论文的第二个主要主张归结表示和操纵通常具有因果关系的结构化抽象知识的大型数据库的系统方法是强大情报的先决条件。2.2.1强大的人工智能将需要什么样的知识以下是一些基本注意事项•大部分但重要但并非全部知识请参阅下文都可以学习。没有人生来就知道打火机会着火干燥的棉球不会起火玻璃瓶破裂时可能会做什么。可以想象可以像CYC那样将这些知识硬连接到AI系统中对每个事实进行手工硬连接但是现代机器学习爱好者显然不愿意这样做。而且由于总是有新知识要收集因此有必要学习新的抽象机制通常是因果知识。••一个健壮的系统可能利用的知识中有相当一部分是象征性地表现出来的外部文化知识。例如维基百科的绝大多数内容都是口头表达的一个强大的情报机构应该能够利用这种知识。目前的深度学习系统只能在非常有限的范围内做到这一点。大部分知识都是根据变量之间的量化关系进行有效编码的例如对于所有x、y和zx、y和z都是人如果有一个人y是x的父母和z的孩子那么x就是z的孙子对于所有xx是一个物种x物种的生物体产生的后代也是x物种的后代等等。 •健壮的系统需要的知识中有很大一部分可能是抽象的。当前的系统擅长表示特定事实例如BORNABRAHAMLINCOLNKENTUCKY和CAPITALKENTUCKYFRANKFORT但缺少表示和有效处理信息的方式例如如果瓶子坏了其他条件相等时瓶子中的内容物可以逃逸。 •规则和例外必须并存。规则动词walk-walked与不规则动词sing-sang共存。不会飞的企鹅和其他很多会飞的鸟类共存。机器必须能够以某种方式来表示知识就像语言学家所说的泛型知识通常是真实的但也有例外飞机会飞但我们认识到一架特定的飞机可能会被停飞甚至不必在统计上准确地反映病例蚊子携带疟疾是重要的知识但只有一小部分蚊子实际携带疟疾。只能获取规则而不能获取例外的系统例如Evans和GrefenstetteEvans和Grefenstette2017是构建能够获取抽象知识但还不够的系统的一个有趣步骤。 •一个健壮的系统可能是因果关系并支持反事实的知识的一个重要部分。例如封闭的人并不知道国家有首都他们知道这些首都在政治上是由人民的行动决定的而且这些决定有时会被改变。奥尔巴尼是纽约州目前的首府但如果首府事实上被烧毁我们认识到该州可能会选择一个新的首府。孩子们知道当玻璃瓶落在坚硬的地板上时那些瓶子可能会碎。•尽管在网上搜集诸如首都和出生地等事实知识相对容易但我们掌握的许多抽象知识很难通过网络搜集例如很少有人会写关于破碎瓶子及其内容的文章。大多数情况下正如列纳特曾经指出的作家不会写下常识因为他们的读者已经知道了。盲目拉网也有其他问题例如历史偏见比如医生是男性往往会被天真的拉网系统自动延续下去。•相关知识的范围必须非常广泛。例如理解一部小说可能需要技术、政治实体、金钱、天气、人际交往、礼仪、性、暴力、贪婪等方面的知识。例如约翰·格里沙姆johngrisham的第一部畅销小说《公司》TheFirm中的关键情节转折就建立在对影印机能做什么、能做多快的理解上与对人类动机和时间推理的深刻理解并列。•很难将知识付诸实践。拥有一个庞大的知识数据库是一回事其中包括有关复印机及其运行速度的事实另一种方法是将这些知识在大量其他不太相关的信息库中整合到关键任务的时间推理中即英雄律师在陷入秘密但高尚的信息收集行为之前所处的狭窄时间窗口。以一种有效的方式将抽象的知识与现实世界中的具体情况联系起来本质上是一个尚未解决的问题。••人类知识的一些小而重要的子集可能是天生的健壮的人工智能也应该从一些重要的先验知识开始。在当代的ML中人们常常强烈地希望将知识和天赋最小化正如下面第2.2.3节所讨论的我认为这是一个错误。2.2.2案例研究容器让我们更详细地考虑一个案例研究-一个事实在通常情况下带盖的茶壶中的水只能从壶嘴出来。正如读者现在所期望的那样GPT-2有时会做到这一点。原则上我们也许可以通过众包获得这一特定事实但由于人们很少陈述如此明显的事实而且更不经常精确地陈述我们不应该指望它。尽管我们可能需要在我们的数据库中有这样一个事实例如如果我们正在构建人工智能来支持一个仿人的老年人机器人的决策我们可能不会提前预料到这种需要。如果我们能从更一般的知识中得出这样的事实就更好了例如如果我们遇到一个外表陌生的茶壶我们就会知道它是什么以及如何与它互动。Ernest Davis、NoahFrazier Logue和我提出了一个框架Davis、Marcus和Frazier Logue2017可以帮助解决这类挑战一大套独立动机的逻辑公理这些公理不是茶壶特有的都是通用的主要由大多数普通人在思考后认识到的抽象组成是真的从中可以对容器做出正确的推断。总的来说公理所处的框架是相当普遍的关于时间、空间、操纵、历史、行动等的公理。这些公理包括如下陈述这里有一些稍微简化的解释•物理世界由一系列物体组成这些物体在时间和空间上移动。•对象是不同的也就是说一个对象不能是另一个对象的一部分也不能在空间上与另一个对象重叠。•物体占据某个三维范围的区域它不能是一维的曲线或二维曲面。•特定数量的液体可以占据特定体积的任何区域。•封闭容器是完全包裹内腔的一个物体或一组物体。•直立开口容器是顶部开口的开口容器。配备了此类知识的探索性机器人以及将知识与感知模型和认知模型联系起来的其他机械也许可以推断出带有几乎隐藏的壶嘴的形状异常的水壶的使用和功能理查德·威廉姆斯·宾恩斯Richard Williams Binns1837-1903年设计的茶壶其右手下方带有隐藏式喷嘴。 经过一定的扩展这样一个系统可以提供一个系统的基础这个系统可以推理出送纱器的用途即使人们以前从未见过送纱器最终人们希望这些基础可以作为机器人系统的一个组成部分可以在一个动作过程中应用这些知识比如编织。喂纱器。纱线球停留在较大的开口中并保持在那里即使将单股纱线拉出也是如此。 并推断出新的供料器或与用户进行交流甚至是完全不同的供料器 这种情况在目前的神经网络方法中并没有自然地表现出来。首先这样做可能需要一个对象的先验概念而这个对象本身在大多数当前的神经网络中并不容易表示。然而这些知识需要成为健壮的人工智能的核心部分我们必须拥有获取这些知识的策略和能够获取、表示和操作这些知识的体系结构——其中一些在本质上似乎是象征性的。原则上也许我们提出的公理中有一小部分是天生的其他人是学来的尽管到目前为止我还不知道有哪个系统能够学习这类公理。这里再次强调具有嵌入式知识的神经符号系统可能会有所帮助。重要的是这组框架本身会聚集到一组相当容易识别的域中例如关于空间、时间和因果关系的知识如这里所示容器知识框架摘自Davis et al。20172.2.3固有的知识框架把我们带到本土主义。虽然没有人可能认为所有的抽象知识都是与生俱来的但其中一些可能是与生俱来的而让某些知识与生俱来的论点最终非常简单你一开始知道的越多其他知识就越容易学习如果你能缩小自己的范围你就可以限制你试图寻找的假设空间寻找。LeCun关于卷积的开创性工作LeCun1989事实上是对这一点的一个有力的实证证明表明在数字识别任务中学习在一个预连线的层次结构配备了平移不变特征检测器使用卷积的系统中准确度更好相对于一个更简单的体系结构来说。唯一的先天优势卷积已经被证明是非常有价值的。然而许多并非所有机器学习研究者反对在他们的系统中加入更多的固有约束画出一条看似任意的线这样网络参数有多少层损失函数是什么使用什么输入节点编码方案等等对于先天性来说是公平的游戏但大多数其他事情通常是公平的预计将被学习马库斯2020年。有些人甚至认为这是一个值得骄傲的地方正如一位研究人员在一封电子邮件中告诉我的那样“如果你主要对理解‘学习’感兴趣那自然会导致你贬低‘手工编码’。”我在2019年12月与Yoshua Bengio的辩论同样具有启发性。他说预先指定卷积是可以接受的因为它只需要“三行代码”但担心将先验知识先天/先验知识的位的集合远远扩展到卷积之外特别是如果这些先验知识需要指定多于几位的信息正如我在那里向他表达的那样我不会太担心那些零碎的东西。超过90%的基因组在大脑发育过程中表达Miller et al.2014Bakkenet al.2016其中相当数量的基因在特定区域选择性表达从而产生详细的初始结构。有许多机制可以通过使用少量的基因来指定复杂的结构本质上基因组是以半自主的方式构建结构的压缩方式Marcus2004没有理由认为生物大脑仅限于几个“小”先验。凯文·米切尔最近在辩论后的一次跟进中很好地总结了形势。的确基因组中没有足够的信息来说明神经发育的确切结果即大脑中每个神经元的数量、位置和连通性。基因组只编码一组无意识的生化规则当这些规则在发育中的胚胎的动态自组织系统中发挥作用时会导致在自然选择定义的操作参数范围内的结果。但这些操作参数有很大的空间包括我们认为是先天的各种因素。在许多物种中有大量证据表明根据基因组中的指令许多不同的先天前驱确实预先连接到神经系统中。如果基因组有足够的先天先兆的空间那么现代人工智能系统可能还有更大的空间我们生活在一个计算机内存以千兆字节和兆字节来衡量的时代而不是以字节或千字节来衡量的时代。对于人工智能来说真正的问题不应该是我们的先验知识库有多小但是什么样的先验知识能最有效地为学习创造条件呢就其本身而言最小化比特数并不是目标。 §如果有三个关于先天性的建议反复出现它们就是时间、空间和因果关系的框架。例如康德强调从时间、空间和因果关系的“流形”开始的价值。斯皮尔克长期以来一直认为一些基本的核心的知识对象集合和地点可能是先决条件以获得其他知识。正如她所说斯佩尔克1994年,如果儿童天生具有感知物体、人、场景和地点的能力那么他们可能会利用自己的感知经验来了解这些实体的属性和行为……然而如果他们不能在他们的环境中挑出那些实体。儿童如何才能了解某个领域中的实体这还很不清楚. 戴维斯和我在我们对容器的分析见上图Davis等人2017和我们最近的书MarcusDavis2019中都同样强调了先前的空间时间和因果关系框架的价值。 ; 多年来许多其他发展心理学家也指出了类似的方向LandauGleitman和Landau2009Carey2009Leslie1982Mandler1992。正如斯佩尔克Spelke和康德Kant都强调的那样一旦您了解了物体及其在时间中的传播方式就可以了。您可以开始填写其属性并开始获得环游世界所需的知识。残酷的事实是相反的方法从近乎空白的板块开始然后在海量数据集上对其进行训练到目前为止还没有成功Marcus 2020。一些大型公司例如GoogleFacebookMicrosoft等对由大数据集训练的相对空白的模型进行了全面的测试并提供了几乎无限的时间金钱计算人员和研究人员但他们仍然无法可靠地推理出时间空间或因果关系。如果没有这样的能力我们的系统将永远不会足够强大以应付现实世界的变化。肯定是时候考虑一种更自然的方法了。§好消息是尽管在深度学习社区中人们常常不赞成本土主义但从历史上看越来越多的迹象表明对先验者更加开放例如Burgess等人2019年; Rabinowitz等人2018年 ; Maier等人2017。当然每个神经网络实际上都是先验的其形式是先天即预先建立而不是通过相关系统学习对特定层数特定学习规则特定连通性模式特定表示方案的承诺例如输入和输出节点代表什么等等。但是这些先验本质上很少是概念性的。真正的问题可能是关于可以代表什么样的先验以及我们所需要的先验是否可以自然地用我们已经拥有的工具来代表或者我们是否需要新的工具来代表更广泛的先验。深度学习社区似乎可以将卷积自然适合神经网络框架用作先验但是到目前为止该社区对具有更复杂先验的模型的关注程度大大降低例如关于对事物永恒性的先天认知【参见Marcus2001第5章中有关为什么估计对象的轨迹本身不足以进行讨论的讨论】或用于理解随时间变化的事件的时间演算。我们应该问的不是我能去掉的的最起码的内在结构是什么而是我需要什么样的先验呢以及我现有的体系结构能否有效地将它们合并我们是否可以建立一个更丰富的具有深层学习基础的内在基础或者在这个框架中可以方便地内在地表达的东西是否有限制我们是否需要显式的符号操纵机制来表示其他类型的抽象比如因果抽象事实证明深度学习擅长表达关于物体外观的知识但不太擅长获取和表达关于物理世界如何运作的知识ZhangWuZhangFreemanTenenbaum2016关于人类如何相互作用以及更普遍的因果关系。其他方法如概率规划允许显式表示的符号约束同时努力学习微妙的统计信息值得认真考虑。 §退一步说人类对世界的绝大多数了解都是从中学到的事实上船只倾向于漂浮而不是沉没事实上如果船只在水线以下形成洞它们确实会下沉。打火机比棉球更适合点火破碎的瓶子会泄漏一次又一次几乎没完没了。无论我们拥有什么样的核心知识都必须有大量的知识来补充。认为普通人可能知道或立即承认是真的数百万或数千万这样的事实并非没有道理其中绝大多数必须通过经验、明确的指示或其他方式来学习。重要的是几乎所有这些知识都可以付诸实践指导行动和决策例如如果我们发现船在水线以下有一个洞我们会选择不上船。但重要的是我们所学到的知识中有相当一部分是因果性和抽象性的根据上一节的讨论这可能需要使用某种混合体系结构。同时纯粹的预先连线永远不够因为世界本身在不断变化例如总会有新的因果原理与新的技术联系在一起。如果有人介绍一个流行的新玩意儿叫花花公子™我们很快就会知道虚拟机是做什么的如何打开和关闭它以及如何让它做自己的事情。正如Gopnik和SobelGopnik和Sobel2000优雅地展示的那样孩子们很自然地做到了这一点我们需要能够做到这一点的机器。但是我们可能不能也不应该仅仅从经验中学习我们所有的抽象和因果知识。当这么多的知识已经被编成法典的时候这样做将是极其低效的例如为什么要让每个系统重新认识到即使物体被遮挡它们仍然存在于空间和时间中而这是一个普遍的真理此外正如我们所看到的例如在GPT-2的讨论中从无到有的学习到目前为止是不可靠的。如果没有一些先验知识例如生理和心理推理的基础知识我们可以称之为常识的东西几乎都学不好。我们需要一些核心知识来指导剩下的学习。 妥协和创新的必要性再次显现出来。我们显然需要能够获得新的因果知识的系统可能是神经符号的杂种但为了获得这种知识我们可能需要比我们迄今使用的更强大的先验知识。因此我的第三个主要主张是我们不应该把每一个新的人工智能系统从零开始当作一张白板对世界知之甚少而应该寻求建立从时间、空间和因果关系等领域的初始框架开始的学习系统以加快学习速度并大量限制假设空间。无论这些框架是用形式逻辑la-Cyc表示还是用其他方法表示也许还没有发明出来我强烈怀疑它们是朝着健壮智能方向取得任何重大进展的先决条件。再多的天赋也不能代替学习但不专注的学习是不够的。这个游戏的名字是找到一组先天的先验知识无论是小的还是大的这将最有利于学习我们系统最终需要的巨大知识库。尽管如此光靠知识是不够的。这些知识必须用推理工具付诸实践在认知模型的背景下我接下来要谈到的两个主题。2.3.推理在一个著名的轶事可能更好地在复述但显然是基于一个核心的真相传奇演员劳伦斯奥利弗是在现场与年轻的达斯汀霍夫曼谁放弃了一些睡眠以使他的角色可能会出现疲惫不堪。奥利弗对霍夫曼说“亲爱的孩子你看起来真糟糕。你为什么不试着演戏呢这样容易多了。”我对记忆和推理的看法是一样的。目前的人工智能方法主要是试图通过记忆或至少是近似地记忆整个世界的概率密度函数来应对世界的复杂性代价是无法满足地需要越来越多的数据。考虑到世界的指数级复杂性这一策略不太可能奏效。推理提供了另一种选择你不需要记住所有的东西也不需要在你以前可能遇到的近邻之间进行插值而是进行推理。你没有记住柏拉图、亚里士多德、欧里庇得斯和我们前面的其他数十亿人都是凡人的事实而是学到了一个普遍的真理所有的人都是凡人并根据需要将这个普遍的真理应用到这个范畴的具体实例中。正如我们所看到的神经网络如Transformers至少像目前通常使用的那样在端到端的方式中与符号操作工具隔离太不可靠不适合合理的推理。它们可能在某些时候起作用但不太可靠只要有足够的知识可用符号操纵至少提供了朝着正确方向前进的希望。在经典模型中推理引擎的最佳例子是CYC相当于一个符号系统能够在最佳情况下执行的那种推理。举个例子CYC的创始人Doug LenatLenat2019#3132}re Romeoand Juliet最近的一次讨论在这里用两个图抽象出来提供了故事的概要一些与故事相关的知识一些常识知识以及CYC推理的一个例子复杂推理者和大规模知识的结合在最佳情况下可以得出图2罗密欧与朱丽叶以及一些与故事相关的知识样本例如故事中的特定时刻和特定时间点的知识摘自Lenat 2019。正如后面所讨论的中间和右边的面板反映了CYC对情节的认知模式的一部分。图3相关常识知识样本以及CYC得出的复杂推论Lenat 2019 上图中间和右面板的详细程度——列出了时间点和在这些时间点上保持正确的陈述——是我将称之为丰富认知模型的一个例子。它是一个认知模型因为它是一个复杂场景的内在升华它的丰富之处在于它充满了关于特定主人公在特定时间点做什么、知道什么、打算什么和期望什么的微妙信息。同样地我们可以认为下图左半部分所示的常识知识相当丰富因为它所编码的行为、后果和人类互动的信息错综复杂。其中一些知识可能被明确地表示出来例如饮用某种毒物的后果可能是立即死亡一些可以想象的知识可能是从更一般的事实在网上衍生出来的。例如“如果一个人死了他们就不必和任何人结婚”可能是从一个更普遍的观察中得出的即义务往往只适用于活着的人。无论哪种方式拥有如此广泛的知识储备的回报来自于可以得出的推论的复杂程度下图右侧以及在他们的可解释性水平上这两者与迄今为止通过深度学习产生的任何东西都处于完全不同的水平。一些观察结果•如果不广泛使用结构化表示、变量操作和个人记录这种方法是不可能的。•这是一个最好的概念证明表明拥有丰富的认知模型和丰富的生物学、心理理论等知识的潜在价值。•然而它在很大程度上依赖于知识工程师手工完成的大量前期工作这些工程师已将《罗密欧与朱丽叶》手工翻译成形式逻辑一个能够在可比水平上自动生成此类表示和推理的系统将是一个重大突破。•推理本身不一定是通往强大人工智能的瓶颈真正的瓶颈可能在于在现实世界推理的上下文中获得正确的信息。当然CYC远非完美。世界上有太少的东西是以充分的预先包装的形式提供给CYC的。CYC没有太多的自然语言前端也没有远见要让它变得合理你需要把你的问题用逻辑的形式表示出来。由于很少有问题是以这种方式预先包装的因此直接的商业应用相对较少。但是在一个将大规模抽象知识与以各种形式逻辑实现的高阶推理相结合的系统中精细推理是可能的这是一个存在的证明。即便是CYC的推理能力无疑也有很大的提升空间。它的表示主要是或者完全是高阶逻辑的东西不清楚它能在多大程度上表示不确定性以及对统计分布的推理等等。正如伯特兰·罗素曾经说过的“人类所有的知识都是不确定的、不精确的和部分的”现在还不清楚CYC能处理多少不确定性、不完整性和不精确性。【另一个问题是人类在推理中面临的诸多限制如确认偏差、动机推理、语境效应、连接谬误等。在一个理想的世界里我们会从人类做得好的事情中学到东西但把这些异常现象抛在脑后。关于为什么人类可能进化出这种认知效率低下的讨论即使这种认知错误在功能上可能不是最优的参见MarcusMarcus2008】有人怀疑就像经典人工智能和神经人工智能中的许多其他东西一样它很可能是脆弱的高度依赖于数据库中的特定知识以及复杂场景映射到其内部逻辑的精确方式。尽管如此它——或者其他能够做类似工作的东西也许使用不同的方法——似乎是通往稳健推理的必经之路。一个不能理解罗密欧和朱丽叶的情节摘要的人工智能不太可能胜任现实世界的复杂性。一个人工智能可以推理的动机交互人类作为复杂的事件因为他们随着时间的推移展开有战斗的机会。乐观的可能性是一旦混合架构architecture知识的先决条件得到更好的发展推理可能会自行解决悲观的可能性是我们可能需要在推理本身方面进行重大改进至少在可伸缩性和处理不完整知识的能力方面是如此。在我们把前两个房子——建筑学和知识表示——整理好之前我们可能真的无法分辨。但我们已经知道由于世界的复杂性我们需要这样的东西。很明显我们需要新的基准来推动我们的系统进行罗密欧与朱丽叶场景所体现的那种复杂的推理。由于我们既不能预先对每一个场景进行编码也不希望总是在已知的场景之间进行插值因此一个能够有效地利用大规模背景知识的推理系统即使在可用信息不完整的情况下也是鲁棒性的先决条件。Minervini等人最近的研究Minervini等人2019年给了我希望一种神经符号混合的方法可以开辟新的领域。Besold等人Besold、Garcez、Stenning、van der Torre和van Lambalgen2017提供了另一个起点。人们在努力这一事实给了我更多的希望如果我们要前进推理和知识需要成为一流的公民看到人们在努力是件好事。2.4认知模型一种特殊的知识是随着时间的推移积累起来的关于特定事务状态的知识例如我们在谈话过程中可能了解到的关于一个朋友的信息在阅读新闻过程中了解到的关于一个国家的信息或者在读一本书时了解到的关于一群人的信息。在认知心理学中我们称这种累积表征为认知模型。你的认知模式可能和我的不同你的可能更详细我的可能不太详细但我们都经常使用它们。但最起码认知模型可能包括一些实体的知识例如故事中的人物和他们拥有的物品一些属性的知识例如物品的大小和颜色人物的目标等以及关于时间和事件的信息角色x在什么时候遇到角色y以及x在时间t知道什么。CYC/罗密欧和朱丽叶插图中的命题和时间标记例如关于相信什么和什么时候相信的复杂事实的显式表示是丰富的认知模型在人工智能系统中可能编码的一个例子。人们还可以想到Johnson LairdJohnson Laird1983关于心理模型的工作。如果我告诉你有一个空书架然后解释说我把两本书放在书架上你就构建了一个包含两本书的书架的内部表示。如果我告诉你我在书架上又加了一本书你就更新你的表示这样你就有了一个包含三本书的书架的内部表示。理解事物在很大程度上就是推断出它是什么的模型并最终能够推断出它是如何运作的以及接下来会发生什么。这绝不是一个微不足道的过程。任何一个GOFAI研究者都可以描述原则上一个人如何手动构建一些复杂的认知模型但在特定场合推断正确的认知模型可能是一个复杂的过程在给定的情况下往往有一个以上的似是而非的答案而且目前还不可能自动化。CYC的例子罗密欧和朱丽叶是令人信服的因为系统得出的推论是复杂和明智的但令人失望的是基本模型是手工编码的而不是从剧本中归纳出来的。这使得该系统可以很好地用于演示目的但在现实世界中为了让认知模型为强大的人工智能铺平道路我们需要找到从数据流如视频或文本中自动推断它们的方法。这是一个如此困难的问题在下面讨论的场景理解领域之外大多数人转而从事其他的工作并在令人惊讶的程度上尝试完全不使用认知模型。例如DeepMind的Atari游戏系统DQN几乎完全缺乏明确的认知模型。当DQN学会玩突围游戏时它并没有将单个棋盘的位置抽象成表示单个棋盘的位置和范围的场景图也没有直接表示划桨的位置、球的速度或游戏的基本物理也没有任何抽象的实现弹跳的动力使游戏如此引人入胜。在强化学习语言中系统是无模型的。【头发分裂者不知道怎么翻译hair-splitters可能会争辩说存在某种自我生成的内部模型指出系统的内部状态在某种程度上与经典认知状态相关而MuZero这样的系统更是如此Schrittwieser et al.2019。在我看来这种系统转移到新环境的能力有限见正文破坏了这类强有力的主张。】然而超人的成就已经实现了。值得注意的是在一些游戏中如Pong在已知的起始条件下是严格确定的完全不看屏幕就可以成功地玩KoulGreydanusFern-arXiv预印本附件十四1811.12530, 2018, ).但是像DQN这样的系统的成功有什么教训呢在我看来这个领域过于笼统了。在像Breakout这样的封闭领域中只要有足够的数据通常远远超过人类在类似情况下所需的数据无模型强化学习通常效果非常好。但这并不意味着无模型强化学习是解决智力问题的一个好方法。问题在于无模型解在诱导它们的精确环境之外泛化能力很差。Kansky等人Kansky等人2017年通过修补Breakout以令人信服的方式展示了这一点即使是将拨片向上移动几个像素之类的微小变化也会导致性能大幅下降。人类通过内部认知模型进行工作可以很快得到补偿无模型的深度强化学习系统往往无法做到这一点相反经常需要大量的再培训正是因为它们缺乏丰富的环境认知模型。GPT-2见Marcus20192020等电流互感器在语言理解方面的失败范围反映了类似的情况预测总体趋势之间的分歧如短语moms house出现在单词附近的可能性以及语料库GPT-2中的短语drop、off、pick、up和clothing以及表达、更新和操纵认知模型的能力。当BERT和GPT-2未能跟踪干洗将在何处时这直接反映了GPT和BERT不能代表单个实体随时间演化的特性。如果没有认知模型这样的系统就会消失。有时他们从统计学中得到好运但是缺乏认知模型他们没有可靠的基础来推理。认知模型的缺乏对于任何希望使用Transformers作为下游推理系统输入的人来说也是一个惨淡的消息。语言理解的全部本质是从语篇中导出认知模型然后我们可以对我们导出的模型进行推理。Transformers至少在他们目前的形式只是没有做到预测词类是令人印象深刻的但就其本身而言预测并不等于理解。§正如我们在第4.3节中看到的罗密欧和朱丽叶的例子CYC是非常好的因为它可以至少在一些非琐碎的程度上超过认知模型的推理例如它的时间点列表和关于在不同时间点已知的人物和地点的事实节选于图2与背景常识知识相关但仍然存在着可悲的缺陷因为它无法单独推导出相关的认知模型。任何一个系统如果能够将自然语言维基百科的绘图摘要如图2左面板中的一个作为输入并自动导出自己的详细认知模型类似于CYC的程序员手工构建的模型这样下游的推理者就可以对其进行推理这将是相对于传统推理的一个重大进步当前AI。不幸的是很少有人致力于从描述随时间发展的事件的文本更不用说视频中推导出丰富的认知模型。Pasupat和Liang的一篇论文Pasupat和Liang2015试图将句子解析成可在表上运行的可编程查询但该系统并不试图随着时间积累模型。Facebook人工智能研究的一些论文例如记忆网络BordesUsunierChopraWeston2015和循环实体网络HenaffWestonSzlamBordesLeCun2016可以将简单的故事作为输入并回答一些关于它们的基本问题。但是这些系统a需要大量的输入相对于他们回答的每个问题b似乎范围有限很大程度上依赖于问答之间的语言重叠c整合先前知识的能力非常有限。也许最重要的是d他们没有产生丰富的认知模型可以传递给推理者作为他们的输出。彼得·诺维格Peter Norvig关于故事理解的论文Norvig1986试图在一个经典的符号操纵框架中做类似的事情就像沙克和阿贝尔森SchankAbelson1977的许多开创性工作一样但据我所知故事理解不再是当前研究的活跃领域。这是一个被抛弃而不是解决的重要问题。沙克和阿贝尔森1977年据我所知最活跃的文献是关于场景理解的研究其最终目的不仅是解释视觉场景中存在的对象而且还解释对象之间的关系例如不仅仅是识别一个玻璃杯和一张桌子而是注意到一个特定的玻璃杯在桌子上在一个特定的房间里玻璃杯靠近桌子边缘由桌子支撑依此类推。这已经超出了艺术的范畴【在我看来目前的工作场景理解能力很差部分原因是很多工作试图将场景作为一个整体“人做饭”来识别而不是根据一组个人如人或物体以及这些实体之间的关系来识别部分原因是它的目的主要是在没有推理的情况下进行推理有时对于构建连贯的模型是必不可少的。因为可能性的数量是指数级的适合于从有限的类别集合中对图像进行分类的技术不太可能满足需要相反推理本身必须与对象分类一起有助于从场景中归纳认知模型的过程。最近一个很有前途的概率生成模型GENESIS明确地建模了场景组件之间的依赖关系Engelcke、Kosiorek、Jones和Posner2019。另见DeepMind的莫奈Burgesset al.2019和梅林Wayne et al.2018以及Gregor et al.2019中的表达生成模型。e、 g.inverse graphics papers by VicariousKanskyet al.2017George et al.2017和Josh Tenenbaum的团队Mao et al.2019Veerapaneniet al.2019。】最终认知模型归纳需要更进一步例如我们还需要确定心理关系这两种关系都是在表面层面上的例如人1正在与人2交谈最终达到一个更复杂的水平例如人1与人2交谈以欺骗人2这样人2就会给人1钱。至少我们的一些符号必须以某种方式建立在我们的感知经验中如果我们要用符号来解释场景我们必须有从输入中推断符号以及符号之间的结构化关系的方法。建立适当的模型还需要能够推断时间边界和时间关系的系统等等。场景理解只是一个更大问题的一个例子每次我们理解一个故事或阅读一篇文章时我们都需要做同样的事情在这种情况下是从文字而不是直接的视觉体验。在我们第一次对强大智能的探索中我们不能期望制造出能理解莎士比亚的机器但我们可以追求比我们所拥有的多得多的东西。我5.5岁和7岁的孩子可能不会自发地理解莎士比亚但他们所拥有的智力在很大程度上是强大的他们了解很多关于日常事物的物理相互作用的知识以及足够了解人类的目标和动机以理解大量的儿童书籍已经早在小学阶段他们就掌握了欺骗、误解和动机等概念这些概念在《罗密欧与朱丽叶》的故事中非常关键。他们可以在各种各样的操场上攀爬和机动还可以谈论各种各样的话题。最终推理和认知模型可以以几乎无限的方式结合起来。例如假设在中午12点一个孩子被单独留在一个房间里房间里有一个装有饼干的封闭饼干罐。中午12:05人们注意到罐子是关着的但饼干却不见踪影。其间发生了什么结合时间和空间推理你可以很容易地推断出a孩子打开了罐子b孩子拿走了饼干c孩子吃了饼干d孩子关上了罐子。对于加分你可以推断b一定发生在c和d之前但是c和d的顺序是未知的。结合生物学理论你可以把孩子理解为一个容器并意识到饼干现在被包含部分消化在里面已经从一个开口一张嘴进入另一个容器胃。没有任何理由认为如果没有内部的认知模型和推理机制人工智能将能够有力地做出这种推论。没有这一点就不可能可靠地理解一个侦探小说一个超越闲聊的对话或者几乎任何人类互动的叙述。我有两个猜想•如果没有混合体系结构、丰富的先验知识和复杂的推理技术我们就无法以适当、自动化的方式构建丰富的认知模型。举一个例子如果我们看到水体中的涟漪隐约让人想起汽车在一般情况下我们应该假设这些涟漪只是涟漪例如基于汽车不会漂浮的知识。但我们可能会在黑帮电影的背景下改变我们的前科在这部电影中汽车可能会被故意推入水中。场景理解最终不仅仅是标记对象而是使用最好的可用数据进行连贯的解释这需要对数据进行一定程度的推理并结合先验知识。任何单纯依靠标记图像的自下而上方法都可能在各种异常情况下失败正如我们迄今所看到的即使是在地图清晰的公共道路上进行自主驾驶的狭窄领域尽管付出了巨大的努力和数十亿美元的投资。•如果没有归纳和表现丰富认知模型的能力我们就无法获得强健的智力。例如阅读在某种程度上可以被认为是一种以句子为输入以产生为输出内部认知模式的功能。当我们发现罗密欧自杀时基于对事实的误解我们更新了我们的模型。一旦我们更新了我们的模型我们就会对它们进行推理考虑到朱丽叶的明显死亡罗密欧会自杀有意义吗。我们的情绪反应也来自于我们对所发生事情的内部认知模式的相对判断。角色刚才表演的动作是否合乎道德安全吗愚蠢悲剧。纯粹的共现统计并没有可靠地得出这一点。Cyc有能力表示丰富的认知模型但由于它没有感知成分缺乏足够的自然语言前端因此不能从数据中归纳模型。Transformers如果他们成功了就跳过了归纳和表现丰富认知模型的步骤但这样做是有风险的因为他们能够做的推理因此是相当有限的。同样家用机器人最终也会被限制在他们能够安全参与的行动范围内因为他们能够通过丰富的认知模型进行归纳、表示和推理。 §单靠更多的数据可能无法解决这个问题。在我编辑这篇手稿的时候谷歌发布了MeenaAdiwardana et al.2020在341GB的海量语料库上进行训练几乎是GPT-2训练的10倍相当于大约341000本书远远超过大多数人一辈子的阅读量。根据谷歌的博客“走向一个可以谈论……任何事情的对话代理”Meena“可以进行比现有最先进的聊天机器人更明智和具体的对话。”像GPT-2一样Meena创作的散文既非常流畅也非常有主题性。它最好的对话是惊人的该报报道说它设置了一个新的艺术状态在新的衡量标准“感性和特异性”。但同样的核心基础——世界内部认知模式仍然缺失。考虑一下这个片段你最喜欢的乐队是什么Avengedsevenfold。人类哦这是个好答案你最不喜欢哪个乐队Avengedsevenfold。哦我以为你喜欢Avengedsevenfold米娜是的。那是我最喜欢的乐队。每个答案都是连贯的但从一个答案到下一个答案却没有连贯性。Meena抓住了这样一个事实即某些短语如乐队名称往往与短语如“最喜爱的乐队”但没有持久的记录Meena的喜好即使是一个简短的对话长度因此完全不一致。 在第77次对话中也可以看到大致相同的情况。Meena在自称“学习”广东话和已经母语流利的广东话之间摇摆不定人类你的新年决心是什么米娜减掉60磅学广东话学法语人类你不觉得那很牵强吗米娜不是真的。我现在瘦了35磅我已经能说广东话到一个基本的水平而且我已经在学校学法语了。人类哇真令人印象深刻米娜我在一边学法语这对我来说真的很容易因为我的母语是粤语。没有认识到你不能学习一门你已经知道的语言缺少背景知识也没有内在的模式来判断米娜是否会说广东话。一句一句的预测很突出总体上是不连贯的。§当我在修改这篇论文的初稿时我开始用“猫在垫子上”这句话起草一个图表。我的计划是展示如何解释这个句子从语法到语义再到可更新的认知模型跟踪实体如猫和垫子及其属性和彼此之间的关系目标是展示GPT-2是如何试图缩短这条路径从而得到混合的结果。我还没来得及画完这幅图我5.5岁和7岁的孩子们就从我身后望过去咯咯地笑着大声念着“猫在垫子上”这句话。我转向年长的那个问他“你能把一头大象放在垫子上吗”他回答说这要看情况如果这是一个真正的大垫子你可以如果这是一个小垫子你不能。他立即形成了一个虚构的世界和实体的模型填充了这个世界并应用他的一般常识知识的理论世界完全没有标签的例子。当他离开房间时我问了他妹妹我5.5岁的女儿。她很好地理解了前面的谈话并对我的问题给出了一个同样恰当的答案。当我问她一座房子是否能放在垫子上时她证明了自己同样擅长构建一个模型并对其未指明的参数进行推理从而得出合理的结论。我们不可能建立可靠、健壮的人工智能系统因为这些系统无法与小孩子通常做的基本推理和模型构建相匹配。等待认知模型和推理从越来越大的训练语料库中神奇地出现就像等待奇迹。底线是目前针对建立认知模型系统的研究太少。强调端到端的学习和大量的训练集已经从核心的更高层次的认知转移。大多数研究人员甚至没有试图构建围绕认知模型的系统而且除了在像自动驾驶这样的狭隘领域之外越来越少的研究人员专注于发现相对于输入流如文本或视频导出和更新认知模型的一般方法这一相关挑战。很少有人把重点放在结合先前的常识来推理这些模型上例如大象相对于猫的大小以及这与各种大小的垫子的关系。在我看来构建能够将语言和感知输入映射到丰富的、不断发展的认知模型的系统应该是该领域最优先考虑的问题之一。换言之更紧迫的是花在改进大规模单词级预测模型上的每一刻即lagpt-2和Meena都是一个可以更好地用于开发派生、更新和推理认知模型的技术的时机。如果我们想建立健壮的人工智能我们就不能再等了。 3.讨论3.1. 一种围绕着持久的抽象知识的智慧没有我们或者像我们这样的生物世界将继续存在但它将无法被描述、提炼或理解。鸟可以拍打翅膀也可以带着它飞行。有关联但没有因果关系的描述。人类生活充满了抽象和因果描述。我们的孩子大部分时间都在问为什么科学家问这样的问题是为了产生理论。我们的力量很大一部分来自于我们以科学、文化和技术的形式理解和描述世界的努力。大部分的努力都以知识的形式达到高潮有些是具体的有些是一般的有些是口头的有些不是。经典人工智能的很大一部分目标是以机器可解释的形式提取这些知识CYC是这方面最大的项目。一路上的某个地方人工智能领域走了一个不同的方向。大多数研究人员如果他们了解CYC的话会认为这是一个失败而目前很少有研究人员会将他们的目标描述为积累知识就像Lenat所描述的那样。【也许Google知识图Google Knowledge Graph最接近但据我所知知识图的目标是积累有助于消除搜索查询歧义的具体事实比如法国有一个叫巴黎的城市而不是抽象的常识。】像Transformers这样的系统的部分成功导致了一种虚幻的感觉即CYC规模的机器可解释的人类知识表示是不必要的但我认为这是一个错误。然而正如我们所看到的尽管Transformers作为统计推断引擎给人留下了深刻的印象但它们离成为强大智能的坚实基础还有很长的路要走。他们不可靠他们的知识参差不齐。他们的推理能力很差而且随着时间的推移他们无法建立事件的认知模型没有明显的方法将它们与更复杂的推理和认知模型建立系统联系起来也没有办法将它们用作可解释、可调试的智能的框架。这篇论文的重担是主张研究重点的转变转向构建健壮人工智能的四个认知前提混合架构将大规模学习与符号操作的表征和计算能力相结合大规模知识库可能利用固有的框架这些框架将符号知识与其他形式的知识结合起来推理机制能够以可处理的方式利用这些知识库丰富的认知模型与这些机制和知识库协同工作。随之而来的是对可能更加异构的体系结构的需求。到目前为止许多机器学习都集中在相对同质的体系结构上其中单个神经元的能力仅限于求和和和集成通常不超过少数预先指定的模块。正如最近的研究所表明的这是一种过分简单化的说法在宏观层面上仅大脑皮层就有数百个解剖和可能的功能区域Van Essen、Donahue、Dierker和Glasser2016在微观层面上如前所述即使是单个神经元的单个树突室也可以计算XOR的非线性Gidon等人2020。Adam Marblestone、Tom Dean和我认为Marcus et al.2014大脑皮层不太可能用一个标准电路来计算它的所有功能神经计算中可能存在一个重要的多样性这在计算神经科学或人工智能中还没有被捕捉到。两个数字以定性的方式反映了我认为我们近年来一直在做的事情以及我们应该做的事情。这些数据的第一点也是最重要的一点很简单潜在的人工智能和机器学习模型的空间是巨大的而且只有一小部分可能存在的东西被探索过。空白板岩经验主义模型已经得到了很好的研究并且得到了很好的资助沉迷于人工智能早期难以想象的计算资源和数据库已经有了一些真正的进展但如此多种形式的脆性仍然是一个严重的问题是时候探索具有类似活力的其他方法了。向前发展至少需要我们建立一个模型原则上能够代表和学习我们在语言和更高层次认知方面所需要的各种东西。目前大多数系统甚至都不在正确的范围内。至少充分的知识框架要求我们能够通过变量运算以代数的方式表示和操作我们的知识的一部分很可能这些知识的一些大的子集是按照结构化表示进行编码和维护的这些知识中的大部分必须与特定的个体有关并允许对其进行追踪。Transformer体系结构有解决所有这些问题的方法但如果不加以补充最终不太可能成功同时我们绝对不能期望所有相关知识都是预先固定的。本文的有力预测是健壮的人工智能必然存在于图4所示的交叉点。图4:Venn图在广阔的智能模型空间中勾勒出了一些模型和架构重点关注学习和符号操作的维度。代数思维的假设马库斯2001以及目前猜想的核心是成功的智力模型需要对变量、结构表征和个体记录进行运算。NS-CL[第2.1.2节中提到的神经符号概念学习者Mao et al 2019]代表了许多此类可能的混合模型之一其中许多尚待发明。本文认为在新的十年里这一交叉区域应该成为通用智能研究的中心。同时这个交叉点内可能模型的空间是巨大的甚至可能是无限的说正确的架构是有一个开始但只是一个开始就像说一个网络浏览器可能应该用一种语言来编写那就是图灵等价物。很好很真实而且。。。现在怎么办拥有一套合适的基本体只是一个开始。这里有一种方法来思考这个问题有无限多的可能的计算机程序其中只有一些例示应用程序如例如web浏览器或电子表格并且只有一个子集表示健壮的web浏览器或电子表格。类似地有无限多的系统包含结构化表示、个人记录、对变量的操作所有这些都在允许学习的框架内但只有其中一些系统会实例化健壮的智能。如果本文的主旨是正确的那么结合学习和符号操作的混合体系结构对于健壮的智能是必要的但还不够。例如还需要正确的宏观结构包括多个领域的丰富知识如图5所示图5:Venn图强调系统的需要包括空间、物理、心理、时间和因果推理的机制。大多数当前的神经网络缺乏明确的机制来进行这些形式的推理也缺乏对这些领域进行表示和推理的自然方式但参见Cranmer et al.2019 将这两个数字的要点与当前的趋势相比较。大多数并非全部深度学习的当前工作都回避了对变量、结构化表示和个人记录的操作同样地深度学习在很大程度上没有大规模抽象知识、丰富的认知模型和明确的推理模块。总的来说关于合成认知的原语应该是什么的讨论还不够。深度学习在很大程度上取得了它所取得的成就没有了这种传统的计算精确性也没有任何看起来像是物理推理、心理推理等明确模块的东西。但是如果认为在诸如语音识别和对象标记等主要围绕分类的领域中效果相当好的东西必然会可靠地用于语言理解和更高层次的推理这是一种谬误。可以肯定的是一些语言基准已经被打破但一些深刻的东西仍然缺失。当前的深度学习系统可以学习任意一点信息之间无尽的关联但仍然无法深入它们无法代表世界的丰富性甚至根本不了解外部世界的存在。那不是我们想去的地方。在重新启动人工智能即将结束时我和欧内斯特·戴维斯敦促简言之我们实现常识和最终的一般智力的方法是首先开发能够代表人类知识核心框架的系统时间、空间、因果关系、物理对象及其相互作用的基本知识、人类及其相互作用的基本知识。将这些嵌入到一个可以自由扩展到各种知识的体系结构中始终牢记抽象性、组合性和个体跟踪的中心原则。开发强大的推理技术能够处理复杂的知识不确定不完整可以自上而下和自下而上自由工作。将这些与感知、操纵和语言联系起来。用这些来建立丰富的世界认知模型。最后一个重点是构建一种人类启发的学习系统使用人工智能拥有的所有知识和认知能力将所学知识融入其先前的知识像孩子一样贪婪地从各种可能的信息来源学习与世界互动与人互动阅读看视频甚至被明确教导。把这些放在一起你就可以得到深刻的理解。马库斯和戴维斯2019年。我们的结论是“这是一个很高的要求但这是必须要做的。”即使在GPT-2这样的Transformers在我们付印之后出现了戏剧性的增长我认为没有理由改变我们的要求。Weconcluded It’s a tall order, but it’s what has to be done. Even after the dramatic rise of Transformers such GPT-2,which came out after we went to press, Isee no reason to change ourorder. 3.2我们还能做些什么吗很显然是的。3.2.1工程实践首先实现稳健性不仅仅是发展正确的认知前提也是发展正确的工程实践。戴维斯和我在第十章“重新启动人工智能”中简要讨论了这一点而汤姆·迪特里希在他的AAAI Presidential Address 演讲迪特里希2017中有一个非常好的讨论我在《重新启动人工智能》问世后才发现这一点。Davis和我强调了冗余和指定公差等技术这些技术长期以来一直适用于其他形式的工程。Dieterich提出了八条建议非常值得一读比如构造对奖励敏感的优化函数和直接构造检测模型故障的机器和我们一样他也强调了因果模型的必要性和冗余的价值。Joelle Pineau关于可复制性的观点也很重要Henderson et al.2017。3.2.2.文化还有一件事需要解决既与认知前提有关也与良好的工程实践无关那就是文化某些东西与深度学习社区的某些元素严重不符不利于进步。这是一个房间里的大象必须承认和解决如果我们要向前迈进。尤其是外界的观点尤其是批评的观点往往被视为一种极端的侵略双方几十年的敌对行动所导致的【第二个文化问题正如这篇手稿的一位读者所指出的是深度学习的倡导者经常过于看重大数据常常假设有时是错误的复杂问题的答案基本上可以在越来越大的数据集和越来越大的计算集群中找到。整个领域如语言学在很大程度上都被忽视了。这不可能是好事。】这种侵略不应在知识论述中占有一席之地特别是在一个几乎肯定需要成为跨学科的领域如果要取得进展。学生们并不是对这种动态视而不见他们逐渐认识到公开宣称符号操纵是人工智能的一个组成部分可能会对他们的职业生涯造成损害。例如在我与Bengio辩论之后一位来自著名深度学习实验室的年轻研究人员私下给我写信说“其实我两年来一直想写一些……关于符号人工智能的东西每次都不想写因为担心它会对我未来的职业道路产生这样或那样的影响。”这是一种适得其反的状态。正如辛顿本人曾经说过的那样“马克斯·普朗克说过‘科学跨过此次葬礼而前进。’未来取决于某个对我所说的一切深表怀疑的研究生。”进步往往取决于学生认识到长辈理论的局限性如果学生不敢说话那就是一个严重的问题。3.3.一点一点地看清整个大象事物好消息是如果我们能够开始共同努力进展可能并不遥远。如果健壮智能的问题已经解决了就完全没有必要写这篇文章了。但是也许只是也许已经足够了如果我们眯着眼睛看看周围的碎片如果我们把它们放在一起的话我们也许能够想象大象的样子。一些想法•深度学习向我们展示了从海量数据中可以学到多少。同现统计等可能只是可靠知识的影子但确实有很多影子只要我们敏锐地意识到它们的优点和局限性也许我们可以利用这些影子使用更复杂的技术。•在丰富的知识基础和丰富的认知模型存在的情况下CYC显示了复杂推理的潜在能力即使它本身不能直接从语言或知觉输入中推导出这些模型。•像NS-CLMao等人2019年这样的系统向我们表明符号操纵和深度学习至少在原则上可以整合成一个无缝的整体既能感知又能推理。这样的例子太多了。如果我们能够打破僵局停止60年来阻碍进展的敌对行动转而集中精力努力在这些世界之间架起桥梁前景就是好的。稍微混合一些比喻也许避开下一个可能的人工智能冬天的最好方法可能是让我们的帐篷不是在一根柱子上休息而是在许多柱子上休息。3.4结论、前景和影响没有什么要求我们放弃深度学习也不放弃正在进行的专注于新硬件、学习规则、评估指标和培训制度等主题的工作但它促使我们从学习或多或少是唯一一等公民的观点转变为学习是更广泛的联盟的核心成员的观点欢迎使用变量、先验知识、推理和丰富的认知模型。我提倡一个四步计划首先开发混合的神经-符号结构然后构建丰富的、部分先天的认知框架和大规模知识数据库然后进一步开发对这些框架进行抽象推理的工具最终开发出更为复杂的认知机制认知模型的表征与归纳。综上所述朝着这四个先决条件取得进展可能会为比目前更丰富、更智能的系统提供基础。最终我认为这将重新定义我们所说的学习的含义导致一种也许是新的学习形式它通过抽象的、类似语言的概括从数据中相对于知识和认知模型将推理作为学习过程的一部分。如果我所描述的没有一个是单独的或者甚至是集体的我相信它至少足以让我们更接近一个我们可以信任的人工智能框架。把事情说得稍微不同一点我呼吁的一种研究方法是首先确定一组动机良好的初始原语可能包括对变量的操作、注意机制等然后学习如何在之后重新组合这些原语考虑到这些原语从本质上说学习什么是良好的实践。直到后来一旦这些优秀软件工程的原则被确定我们才有可能进入极其复杂的现实世界能力。大多数机器学习工作基本上都试图跳过开头的步骤以经验的方式处理复杂的问题而从未试图建立一个关于语言和更高层次认知真正需要什么初始原语的坚定理解。跳过这些最初的步骤到目前为止还没有使我们获得语言理解和可靠的、可信赖的、能够应对意外情况的系统现在是重新考虑的时候了。在我看来如果我们不改变方向我们就不可能解决我们对人工智能最直接的担忧。当前的范式长期依赖数据但缺乏知识、推理和认知模型根本无法让我们获得可以信任的人工智能MarcusDavis2019。无论我们想建造与我们一起生活在家中的通用机器人还是在不可预知的地方驾驶我们四处走动的自动车辆或是对罕见疾病和普通疾病同样有效的医疗诊断系统我们需要的系统不仅仅是挖掘大量数据集以获得更微妙的关联。为了做得更好实现安全性和可靠性我们需要对世界有丰富的因果理解的系统这需要从更加注重如何用抽象的因果知识和详细的内部认知模型来表示、获取和推理开始。§罗马不是一天建成的。孩子们有大量的常识能够推理并学习复杂的知识但他们仍然需要数年的时间才能拥有大多数成年人的成熟度、广度和能力。他们已经开始获得一些知识具体的方面在这里和现在但仍然要学习特别是有关微妙的领域如政治经济社会学生物学和日常人际交往。通过利用混合体系结构中的创新弄清楚如何利用认知模型和大规模背景知识可靠地构建、表示和推理如第2.1.2节所述将是一个重要的步骤并可能在未来十年中占据大部分时间但不会是整个过程。重要的是这些关键认知前提的进步可能会使人工智能成为一个自给自足的学习者就像一个聪明的学童一样但它们本身并不能保证产生一个完整的认知存在。也就是说它们可能会导致自我教育的机器在某些方面就像一个孩子对世界有着不完全的了解但却有着获取新思想的强大天赋。这当然只是一个开始但它将使已经发生的事情看起来只是序幕一些我们还不能完全预见的新事物。4.致谢为了纪念雅克·梅勒1936-2020科学家《认知》杂志的创始人跨学科认知科学的伟大倡导者我们需要将人工智能提升到一个新的水平。这篇文章的一部分是对我与Yoshua Bengio于2019年12月23日在加拿大蒙特利尔由蒙特利尔AI的Vince Boucher组织的AI辩论的反思。我感谢约书亚和文斯使这成为可能我也感谢迪恩阿比奥拉道格贝米斯艾米莉本德文斯鲍彻厄尼戴维斯汤姆迪特里奇佩德罗多明戈斯查兹费尔斯通阿图尔达维拉加塞兹丹尼尔卡尼曼卡蒂娅卡彭科克里斯蒂安克斯汀路易斯兰姆亚当马布尔斯通梅兰妮米切尔艾亚德纳瓦尔巴尼佩尔Jean-Louis Villecroze和Brad Wyble他们阅读并评论了本手稿的早期草稿Mohamed Amer和Dylan Bourgeous进行了有益的讨论。最重要的是要特别感谢厄尼戴维斯我在人工智能这么多的共鸣板这篇论文很大程度上归功于我们的对话和我们的联合研究。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
