“未来5年内，头脑正常的人都不会再用自回归LLM（大型语言模型），GPT系统将很快被抛弃。”

　　这是图灵奖得主、Meta首席AI科学家、纽约大学教授Yann LeCun（杨立昆）在今年智源大会上发表的观点。

　　今年以来，以ChatGPT为代表的AI大模型点亮了人类世界又一次群星闪耀的时刻。但显而易见的是，AI大模型的快速蹿红，也同时带来了无数亟待解决的问题和诸多针锋相对的探讨。

　　人类是否已经进入AGI时代？GPT是否会被抛弃？开源与闭源到底如何选择？AI是否已然威胁到人类安全？人和AI，谁是未来世界的主宰？

　　颠覆式创新往往伴随巨大的不确定性。即使是专家们在今天发出的权威论断，在若干年后也很可能变成技术长河中一个微小的“谬误”。但尽管如此，当下的百家争鸣依然有永恒的意义。

　　北京智源大会由智源研究院主办，今年邀请到了图灵奖得主Geoffrey Hinton（杰弗里·辛顿）、Yann LeCun（杨立昆）、Joseph Sifakis、姚期智，张钹、郑南宁、谢晓亮、张宏江、张亚勤等院士，加州大学伯克利分校人工智能系统中心创始人Stuart Russell（斯图尔特·罗素），麻省理工学院未来生命研究所创始人Max Tegmark（马克斯·泰格马克），OpenAI首席执行官Sam Altman（萨姆·奥尔特曼）等200余位人工智能专家——如此群星璀璨的专家阵容，有人评价这场大会为“AI春晚”。

　　大会共持续了两天，设置了十余场分论坛，内容涵盖前沿技术、生态、安全、伦理等方方面面。

　　不过，大会最夺人眼球的环节之一，还是杰弗里·辛顿、杨立昆、斯图尔特·罗素、马克斯·泰格马克、萨姆·奥尔特曼等国际AI大咖的隔空辩论。大会期间，「甲子光年」参与了活动群访，将最值得关注的4个核心争议点进行了提炼总结，尽可能还原全球AI领军者们对AI当下与未来的深度思考。

　　王小川曾在今年2月便笃定地告诉「甲子光年」：“这（指ChatGPT）就是AGI！”这一判断的核心逻辑是，ChatGPT背后的大模型掌握了语言，而语言的边界就是世界的边界，机器掌握了语言，就意味着AGI的到来。

　　但就在本次智源大会上，ChatGPT神话的缔造者、OpenAI CEO萨姆·奥尔特曼则表示，自己并不确定AGI何时到来，但他认为10年内，人类可能会迎来更强大的AI系统。

　　在本届智源大会上，智源研究院院长黄铁军表示，“通用人工智能”有两个解释，GAI（General Artficaial Intelligence）和AGI（Artificial General Intelligence）。他认为，大多数媒体都将通用人工智能理解为前者，而真正让人工智能研究者谈论数年的是AGI，世界正处于由GAI向AGI迈进的历史时期。

　　大数据+自监督学习+大算力形成的信息类模型，以OpenAI的GPT系列模型为代表；

　　基于虚拟或真实世界，通过强化学习训练出来的具身模型，以Google DeepMind的DQN深度学习技术为代表；

　　直接抄自然进化的作业，复制数字版本的人脑和智能体，即脑智能。这是智源研究院一直在尝试的方向。

　　目前，智源研究院在上述三个方向均有布局。会上，黄铁军着重介绍了大模型与具身智能两个方向，发布了全面开源的“悟道3.0”系列大模型及算法，报告了在高精度生命模拟和有机大分子建模方面的最新进展。

　　在2021年3月，悟道1.0发布会上，智源研判人工智能已经从“大炼模型”转变为“炼大模型”的新阶段，从此，“大模型”概念走入公众视野。

　　黄铁军提出了大模型需要具备的三个条件：一是规模要大，参数达百亿规模以上；二是涌现性，能够产生预料之外的新能力；三是通用性，不限于专门问题或领域，能够处理多种不同的任务。

　　悟道系列模型已发展到“悟道3.0”版本，涵盖语言、视觉、多模态等基础大模型，并全面开源。

　　在攻关大模型的同时，智源研究院也在探索具身智能。近期，智源研究院提出了在无专家数据情况下高效解决《我的世界》任务的方法Plan4MC，可完成大量复杂多样任务，为当前强化学习路径下最优表现，成功率相比所有基线方法有大幅提升。智源的下一个目标则是让智能体在开放世界中持续学习并进一步具备创造力。

　　去年的智源大会上，智源研究院发布了最高精度的仿真线虫。现在，智源开放仿真线虫研究所使用的“天演”平台，提供在线服务。

　　基于天演平台，实现对生物智能进行高精度仿真，探索智能的本质，推动由生物启发的通用人工智能。为进一步推动神经系统仿真规模与性能，天演团队将天演接入我国新一代百亿亿次超级计算机-天河新一代超级计算机。通过“天演-天河”的成功部署运行，实现鼠脑V1视皮层精细网络等模型仿线倍以上提升，达到全球范围内最极致的精细神经元网络仿真的性能，为实现全人脑精细模拟打下坚实基础。

　　除智源的三条路径之外，图灵奖得主、Meta首席AI科学家、纽约大学教授杨立昆也在会上系统阐述了他提出的“世界模型”。

　　在杨立昆看来，几十年来，研究者一直在使用监督学习，这需要太多的标签。强化学习效果不错，但需要大量的训练来学习知识。近年来，研究者一直在使用大量的自我监督学习，但这些系统在某个地方不太专业，而且很脆弱，它们会犯愚蠢的错误，它们不会真正地推理，也不会计划。当然，它们的反应确实非常快。

　　相比之下，动物和人类可以快速执行新任务并理解世界是如何运作的，也可以推理和计划、具有常识，这是机器所不具备的。

　　他甚至不留情面地说，未来5年内，头脑正常的人都不会再用自回归LLM（大型语言模型），GPT系统将很快被抛弃。“这些系统没有物理世界的经验，这使得它们（的能力）非常有限。”杨立昆表示。

　　杨立昆认为，人类最终走向的将是“世界模型”。世界模型可以真正地理解这个世界，并预测和规划未来。通过成本核算模块，结合一个简单的需求（一定按照最节约行动成本的逻辑去规划未来），它就可以杜绝一切潜在的毒害和不可靠性。

　　杨立昆提出了一个分层系统的设想：通过一连串的编码器，提取世界状态的更多抽象表示，并使用不同层次预测器的世界模型，在不同的扰动水平、不同的时间尺度下预测世界的状态。

　　一个简单的例子是，如果你想从纽约去北京，你需要做的第一件事就是去机场，然后坐飞机去北京。这个过程可以拆分为若干动作，例如你从纽约办公室的椅子上站起来，出门，到街上去拦一辆出租车，并告诉司机你要去机场等等——所有复杂的任务都是以某种分层规划的方式完成的。

　　尽管技术边界无穷无尽，但一个摆在人们眼前的现实问题更不容忽视——正在快速形成的大模型生态应该开源还是闭源？

　　在PC时代，有封闭的Wintel联盟和开放的Linux，今天，Linux几乎成为所有操作系统的内核；移动互联时代，iOS的封闭生态与安卓的开放生态双足鼎立。

　　从国外看，LLaMA发布后，在全球派生出的模型不计其数，已经形成了庞大的生态。但智源研究院副院长、总工程师林咏华在访谈时对「甲子光年」等媒体表示，这种生态对中国的企业和开发者并不友好。

　　首先，LLaMA的开源生态无法商用；其次，LLaMA的语料主要来自国外，由此带来的部分和中文语境不适配的问题会被继承在基于LLaMA训练的模型中。

　　今年年初，智源发布了FlagOpen大模型技术开源体系；数据集方面，智源已开源首个大规模、可商用的中文指令数据集COIG。COIG一期已开放总计19.1万条指令数据，COIG二期正在建设最大规模、持续更新的中文多任务指令数据集，整合了1800多个海量开源数据集，人工改写了3.9亿条指令数据，并提供了配套的数据筛选、版本控制工具。

　　对于很多人而言，开源是一个原则问题。开源社区Hugging Face联合创始人Julien Chaumond曾在推特上写道：“我们永远不会放弃为开源人工智能而战。”

　　智源研究院也是开源生态坚定的拥趸。“如果没有开源，AI不会发展到今天。”林咏华表示。

　　不过，在林咏华看来，开源和闭源没有对错之分，更多取决于主体自身性质和诉求。国内大厂作为商业机构，投入了大量成本训练模型，这也决定了他们需要考虑如何让投资有回报的问题；而智源作为政府支持的非营利组织，主要诉求是对产业产生更多的技术影响，这决定了智源追求开源，尤其是可商用的开源生态。

　　在封闭生态下，大企业很容易形成垄断，甚至演变为技术霸权。当一项影响全人类命运的技术仅仅掌握在少数商业主体手中，世界都将陷入巨大的不稳定性中。开源则能在一定程度上避免技术霸权。

　　但开源也会然意味着谷歌、OpenAI等提供开源内核的企业在巨大的技术投入后很难得到相应的回报，甚至让企业生存难以为继。

　　众所周知，OpenAI也曾为开源而生。但从GPT-3开始，OpenAI便停止开放模型源代码；到GPT-4，更是连最基本的模型参数都没公布。

　　会上，张宏江将未来是否会开源的问题抛向奥尔特曼，而奥尔特曼却打起了“太极”：“随着时间的推移，我认为我们可能会期待更多的开源模型，但我没有具体的时间表。”奥尔特曼进一步表示，开源一切并不是最优路径。

　　曾有人推测认为OpenAI走向“CloseAI”是因为其背后绑定了巨头微软，必须考虑商业回报。不过，在OpenAI的官方口径中，闭源是出于安全考虑。

　　过去一段时间，奥尔特曼像一位AI安全的“布道者”，不断呼吁全球各界人士重视AI安全。这一次也不例外。

　　在他看来，超级人工智能确实存在安全风险，对此，各界可以通过谨慎的工程设计来减轻或遏制风险。但问题在于，目前人类并没有真正设计出超级智能系统，谈论安全或控制问题有些为时过早。

　　杨立昆举了一个生动的例子：“这就好像你在1930年问航空工程师‘如何让涡轮喷气式飞机安全可靠’？工程师会说‘什么是涡轮喷气式飞机’？因为涡轮喷气发动机在1930年还没有被发明。”

　　“千里之行，始于足下。”在“AI安全与对齐”的分论坛上，奥尔特曼引用了《道德经》中的一句话，来呼吁全球尽早迈出AGI治理最有建设性的第一步。

　　奥尔特曼表示，人工智能系统正在越来越强大，如果人类不做好规划，一个原本设计用来改善公共卫生的AI系统很可能提供破坏公共卫生的建议；一个原本用来优化农业实践的人工智能系统可能会无意中损害经济和资源的消耗，缺乏对长期可持续性的考虑，从而影响食物生产和环境平衡。

　　因此，推进AGI安全是全球寻找共同立场最重要的领域之一。首先，各国应共同建立包容的国际准则和标准，并在所有国家对AGI的使用中建立平等、统一的防护措施。其次，建立国际合作，以可验证的方式在全球范围内建立对越来越强大的AGI系统安全开发的信任。

　　奥尔特曼表示，从GPT-4完成预训练到部署，OpenAI花了八个月来研究如何前置预判风险并给出对策的问题。“GPT-4的对齐程度超过当前所有的代码。”

　　他进一步表示，对于更高级的系统，对齐仍然是一个尚未解决的问题。未来的AGI可能是一个十万行二进制代码的系统，人类很难判断如此规模的模型是否在做一些损害人类社会的事情。因此，我们需要新的技术方法，并加强治理监督。

　　一个是可扩展的监督，尝试使用AI系统来协助人类监督其他AI系统。例如，训练一个模型来帮助人类监督员找出其他模型代码中的缺陷。

　　一个是可解释性。我们希望更好地理解模型内部发生的事情，我们最近发表了一篇论文，使用GPT-4来解释计算机的复杂状态。

　　麻省理工学院未来生命研究所创始人马克斯·泰格马克的观点和奥尔特曼有异曲同工之妙。

　　在主题为《Keeping AI under control》的演讲中，泰格马克表示，要确保AI为人类服务而不是和人类作对，需要解决两大问题：

　　首先是对齐，让单个AI真正按照其所有者的意愿行事。其次，是如何让世界各地所有组织、公司、个人等保持一致，确保他们用AI来做正确的事。

　　在这次分享中，泰格马克主要围绕前者展开讨论。其中，让机器具有可解释性是关键。他将让机器实现可解释性分为三个层面：

　　首先，判断机器的可信度。例如人在开车时并不明白刹车的工作原理，但人们会相信踩下刹车板车就会慢下来。

　　最后，也是泰格马克本人的志向，就是提取机器学习黑匣子中的所有知识，并将其在其他系统中复现，便能够证明机器会按照人类的意愿做事。

　　泰格马克用一些例子来解释了最后一点，其中一个例子还反驳了杨立昆对自回归模型中缺乏世界模型的批评。

　　他引用了一篇论文内容，其中提到，研究者训练了一个transformer模型来预测奥赛罗游戏（一种比围棋简单得多的棋盘游戏）的下一个动作，他们并未告诉模型任何游戏规则，甚至没让模型知道这是一个棋类游戏。但机器的可解释性发现，模型自己建立了一个8x8的二维世界模型，棋盘上还有棋子。

　　泰格马克表示，这种能力也存在于其他大型语言模型中，例如人们在使用百度的文心一言或GPT-4时，会发现它们能够为不同的人建模，按照使用者的风格输出内容。

　　智源研究院院长黄铁军也对「甲子光年」等媒体发表了自己的看法，强调了关注AI安全，应对AI风险的重要性。

　　黄铁军认为，目前，我们处在一个模糊的阶段，他将其称之为“Near AGI”，任何事情只要确定都是可以把控的，就怕不能确定。而今天，我们就处在一个不能确定的状态。

　　“虽然我们认为GPT-4还不算真正的AGI，但是其知识储备量和融会贯通的能力已经很强。这样的‘Near AGI’比我们强吗？超过我们的智能了吗？今天论坛的所有嘉宾在报告中都没有给大家一个确定的答案。并没有明确说‘NO’‘放心’‘今天的AI系统还不如人类强大呢’。这就是问题所在”，黄铁军表示，“我们并不清楚地知道人工智能是不是已经超过我们，不知道它何时会超过我们，该问题处在一个完全无法把控的状态。如果我们能够像投资热情那样投入来应对风险，至少还有一定把握未来的可能。但是，你相信人类能做到吗？我不知道”。

　　大佬们之所以如此关注AI安全，核心是因为人工智能的发展趋势将直接影响到全人类的未来命运。

　　有关AI颠覆人类的科幻故事不胜枚举，甚至有不少人谈“AI”色变。无论专家、从业者还是普通公众，都迫切地想要知道：如果智能体比人类更聪明，世界会发生什么？

　　图灵奖得主、“深度学习之父”杰弗里·辛顿在闭幕演讲中提到，超级智能可能会比预想中发生得更快。

　　不良分子可能会利用超级智能体操纵选举等活动。在美国和其他许多地方，他们已经在利用它们进行这些活动，甚至可能会用于赢得战争。

　　如果要让数字智能更高效，人们需要允许智能体制定一些目标，而智能体实现这些目标的大前提是拥有更多的控制权。辛顿认为，目前很难想象人类该如何阻止数字智能为了实现更多目的而获取更多控制权。

　　一旦数字智能开始追求更多控制权，人类可能会面临更多问题。比如，在物理隔绝的情况下，超级智能物种仍然可以通过控制人类来轻易获得更多的权限。

　　在辛顿的观察中，这类人工智能已经熟练掌握了欺骗人类的动作。它可以通过阅读小说，来学习欺骗他人的方式，而一旦人工智能具备“欺骗”的能力，也就具备轻易控制人类的能力。

　　例如，如果超级智能体想入侵华盛顿的一座建筑，它不需要亲自去那里，只需要欺骗人们，让他们自认为通过入侵该建筑物，就能拯救民主，最终实现目的。

　　据美联社报道，6月9日，一名从业30年的纽约律师在其提交的法庭文件中使用了ChatGPT提供的案例，而这些案例中很多都是ChatGPT杜撰的，这导致这名律师面临纪律听证会，甚至可能面临处罚。

　　“这种操作令人感到害怕，因为我也不知道如何阻止这样的行为发生。”辛顿担忧道。

　　辛顿呼吁，希望年轻一代的研究人员可以找出一些更智能的办法，来阻止超级智能体通过欺骗来控制人类的行为。

　　或许，人类的微弱优势是，这些智能物种都是由人类打造的，而非自然进化的产物，也正因如此，它们可能不具备人类会竞争、有攻击性等特点。

　　为此，人类可以尝试赋予人工智能一些伦理原则。但一个更让人毛骨悚然的隐忧是，古往今来，主宰世界的往往是智能水平更高的物种。

　　原标题：《实现AGI之前，全球AI大佬在这4个关键问题上吵起来了｜甲子光年》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。