【编者按】

(资料图片)

《基础模型的机遇与风险》一文写作于2021年，但至今仍很有研究价值。彼时BERT、DALL-E、GPT-3模型先后亮相，斯坦福大学Percy Liang、李飞飞教授等诸多不同领域学者及时关注到此类预训练模型可能对人工智能产生深刻影响，并联合撰写本报告，将此类模型命名为基础模型。本文详尽介绍了基础模型的机遇和风险，包括其能力、应用、技术原理和社会影响。本文极具前瞻性，其中所预见的诸多情形已成为现实，其所提示的风险更值得正处于“模型泛在”社会阶段前期的我们再次回顾。本篇推文将对《基础模型的机遇与风险》进行编译，重新回顾基础模型带来的机遇和各类风险，及研究人员提出的相应建议和其他值得持续探讨的开放性问题。

目录

一、简介

二、基础模型的能力

三、基础模型的应用

四、技术原理

五、社会影响

六、总结

一、简介

本报告调研了基于通用模型构建人工智能系统的新兴范式，本文将这种具有通用性的模型称为基础模型（foundation model）。基础模型是指基于海量数据训练的、能够通过微调等方式适配各类下游任务的模型。其具有两个突出特征：涌现（emergence）和同质化（homogenization）。

1.1

涌现和同质化

涌现是指人工智能系统的行为并非预先明确设定的，而是被隐式诱导着进行的；这是科学研究中令人惊叹的发现，也是难以预测的风险的产生原因。同质化是指不同应用场景下的人工智能系统构建方式具有固定性；这使得基础模型可以进行多种任务，但也制造了单点故障风险。

事实上，涌现和同质化现象同样存在于过去30年间的机器学习研究和深度学习研究中，但为什么直到现阶段，该现象才引起人们的担忧和广泛关注呢？这需要重新回到基础模型的技术说起。

基础模型是通过迁移学习和大规模化实现的，迁移学习使其成为可能，而大规模使其强大。迁移学习可以被感性地理解为举一反三，即将从一项任务中学到的“知识”应用到另一项任务。在深度学习中，预训练是迁移学习的主要方法：在替代性任务上训练模型，然后通过微调等其他方式适配下游任务。大规模的实现与以下三个因素有关：（1）计算机硬件的技术进步；（2）transformer架构；（3）大量可用训练数据。尤其是在自监督学习中，预训练任务是从未标注的数据中自动推导出来的，数据可用性和数据使用能力大幅提升。2019年后，自监督学习成为NLP领域的主要预训练方式，这意味着开发人员接受了一个模型可以广泛部署于多种下游任务的先验假设，这标志着基础模型时代开启了。

基础模型引起了前所未见的同质化程度。首先，在NLP领域内，现有最先进的NLP模型都是基于少数基础模型之一调适的，这虽然减少了模型训练的成本，但也导致了一种风险，即所有人工智能系统都可能继承一些与基础模型相同的错误偏置。同时，现在也出现了一些跨领域的模型同质化现象，例如类似的基于Transformer的序列建模方法现在被应用于文本、图像、语音。这表明，未来我们可能拥有一套统一的工具来开发各种模态的基础模型。

基础模型中产生的涌现效果也令人惊异。例如，与GPT-2的15亿个参数相比，GPT-3有1750亿个参数，并可以进行语境学习。通过向其语言模型提供提示(prompt)(一条对任务的自然语言描述)就可以让其适配下游任务。这种提示是一种既没有经过专门训练也不被期望在数据中出现的涌现属性。

同质化和涌现以一种可能难以预料的方式相互作用。同质化可能为许多边缘领域提供更多可能性，但另一方面，模型中的任何缺陷都会被所有下游模型盲目继承。由于基础模型的能力来自于它们的涌现性质，现有的基础模型难以理解，并且可能具有难以预料的错误模式。涌现的存在使基础模型的能力和风险具有很强的不确定性，这些模型的同质化更扩大了这种风险。

1.2

社会影响和基础模型生态系统

为了研究基础模型的研发和部署，必须要从人工智能生态系统的角度出发研究。与基础模型有关的问题应该从生态系统的不同阶段来回答。

数据创建：数据是由人创建的，都直接或间接地与人相关。值得注意的是，数据都有其所有权人，数据的创建都具有目的性。

数据整理：将创建的数据整理成数据集，自然界中没有单一自然分布的数据。即使是爬虫软件爬取的数据也需要选择和过滤。

训练：通过数据集训练基础模型。

适配：调整训练好的基础模型，给特定使用于某领域的应用程序加上额外的适配逻辑，使之能够更好地适配下游任务，避免受到基础模型的负面影响。

部署：将人工智能系统提供给终端用户，这会产生直接的社会影响。

虽然这份报告是关于基础模型的，但需要注意的是，基础模型的许多影响来自于生态系统中其他阶段作出的决定，这意味着每个阶段都需要深思熟虑的监测和干预。

1.3

基础模型的未来

基础模型仍然处于早期研究阶段，但很大程度上仍然是研究原型，其专业规范也尚不明晰，谁来决定这个未来值得探讨。

技术的快速进步和中心化导致的壁垒引起了各界强烈关注。除了技术学家之外，人文主义者和社会科学家也应当投入其中，从一开始就将社会影响和伦理设计融入基础模型及其周围生态系统的技术开发中。

本文作者呼吁，学术机构因其学科多元性，应当在开发基础模型方面发挥着至关重要的作用，促进模型社会效益和减轻其社会危害，以及确定生态系统每个阶段需采取的行动。

当下，基础模型的开发和研究因其巨额成本而被商业机构垄断。尽管市场驱动的商业激励可以很好地与社会效益保持一致，使基础模型更加准确、可靠、安全和高效，但也可能导致市场失活和边缘领域投资不足的问题。此外，商业激励还会导致公司忽略社会的外部条件，以利润为唯一导向。

事实上，由于科技公司拒绝对基础模型开源，基础模型的可访问性丧失，学术界无法充分参与其中。学者呼吁对基础模型进行开源，学术界和工业界进行合作，由工业界就最终如何部署基础模型做出具体决策，由学术界依靠学术界专业知识，为基础模型的开发和部署的理论和伦理问题提供指导。

1.4

概述

这份报告由百余名不同教育背景的学者共同撰写，涵盖了基础模型各个方面。报告分为26个章节，每个章节讨论基础模型的一个方面。各章节之间有许多联系，主要包含四个主题：能力、应用、技术和社会。这些联系强调了一种综合的、跨学科视角研究基础模型的方法论。

图1：文章框架

二、基础模型的能力

基础模型习得了多种能力，助力下游应用的部署。本文选择对五种能力进行论述：处理不同模态数据的能力(例如，语言、视觉)、影响物理世界的能力(例如，机器人学)、推理能力、与人类交互的能力(交互)。最后，我们以基础模型能力存在的可能限制的哲学性讨论作为结束。

2.1

语言

自然语言处理（NLP）是为基础模型开辟了道路的领域，该领域内的基础模型产生了令人惊讶的通用性和可适配性：一个基础模型可以以不同的方式进行调整来解决多种语言任务。经过适配适应某项任务的基础模型的性能已经超过以前专门为解决该任务而构建的模型或流水线式的模型，该领域研究和实践的重点已经从为不同任务定制架构转向探索如何最好地利用基础模型。但是因为语言的多样性（包括语言风格、方言、语种的多样性），基础模型的可适配性仍然存在局限。学术界认为，可以通过研究儿童习得语言的机制来获得启发，这包括两个关键因素：非场景关联的（ungrounded）统计学习和系统且可概括的语言系统。基础模型已经极大地改变了 NLP 的研究和实践，然而基础模型在复杂的下游环境中的即时性、安全性和实用性仍然有待提升，研究者也需要就新的领域进行研究，例如研究如何最好地使用和理解基础模型、基础模型可能增加 NLP 中的不平等等问题。

2.2

视觉

计算机视觉引领了深度学习在人工智能中的采用，证明了在大规模标注数据集上预训练的模型可以被迁移到众多的下游情景中。在计算机视觉的背景下，基础模型将来自不同来源和传感器的原始感知信息转化为可适配众多下游环境的视觉知识。计算机视觉领域的模型训练数据集从标注数据集转向原始数据集，进行了预训练的基础模型在诸如图像分类、目标检测这样的标准任务中取得了令人满意的结果，而通过在多模态数据上进行训练使其有可能突破重大挑战(例如，3D几何与物理理解、常识推理)。随着来自更多不同模态传感器的数据被纳入基础模型中，加深了对隐私泄露和监控产生的担忧。另外，随着视觉基础模型的语义和生成能力的不断提升，深度伪造图片和误导信息也成为了更大的威胁。

2.3

机器人学

机器人学研究的目标是开发出能够在多种物理环境中完成多种任务的通用性机器人。机器人基础模型的应用包括机遇和挑战两方面：需要在清晰明确的任务规范和学习的机会与数据收集和安全部署的挑战中寻找平衡。学者研究了不局限于特定环境(例如，一般的人类视频等)以及跨模态(例如，语言、视觉)的大量数据或有助于填补数据上的空白。同时，确保机器人系统的安全性和鲁棒性也是同样紧迫的。如果基础模型能够在机器人环境中工作良好，将会使得通过机器人代替人类进行任务说明与学习更加容易、引领新的应用(例如，家务劳动)以及有效提高系统鲁棒性与安全性(例如，正式的安全评估)。

2.4

推理与检索

推理和检索问题是人工智能领域的长期挑战。实践证明，深度学习能够有效的指引搜索空间，且扩大模型规模可以显著提高推理能力。基础模型因其生成性、普适性、关联性能够有效增强计算机的推理能力、知识迁移能力和分析抽象概念的能力。基础模型为缩小机器与人类之间的差距提供了可能性。但是，提高高级推理能力是现有基础模型的核心挑战。同时，基础模型也产生了其他挑战，包括如何从理论和实践中解释这些模型，能否训练可以泛化到域外问题的鲁棒推理模型等。

2.5

交互

在基础模型与人工智能系统开发者和终端用户的交互中，由于基础模型在适配中的样本效率，降低了人工智能应用原型设计与构建的难度阈值，同时由于基础模型的多模态和生成能力，提高了用户体验度的上限。但基础模型放大了一些人工智能模型的问题，包括模型生成内容的作者身份确认问题、责任转移和许可所有者的认定问题等。在交互中，或许未来开发人员和终端用户之间的界限将逐渐模糊，当然这就要求模型具有更高的鲁棒性和易操作性。

2.6

哲学视角的理解

基础模型是否可以理解它所训练的数据这个问题当下难以回答。从形而上学的角度来说，理解的本质尚有争议。学者的初步结论是，对未来基础模型理解自然语言的能力持怀疑态度可能还为时过早，尤其对于那些在多模态数据上进行训练的模型。

三、基础模型的应用

当下，基础模型的研究主要局限于计算机科学和人工智能领域，而其应用主要集中在科技产业。然后，基础模型展现出了对人类生活产生普遍影响的明显潜力。本文选择了医疗保健、法律和教育这三个社会基础领域进行分析。

3.1

医疗保健与生物医学

医疗保健任务与生物医学研究依托于有限且昂贵的专家知识。基础模型因其丰富的跨模态训练数据及其在适配中的样本效率，有效提高医学诊断和研究中的效率和准确率。然而，基础模型也带来了明显的风险，包括跨模态数据学习问题、较低的可解释性问题、隐私问题、公平性问题。在医药领域使用基础模型，涉及很多伦理问题，必须要对其使用进行有效的监管。

图2：基础模型在医疗保健与生物医学领域的应用

3.2

法律

基础模型在法律领域的使用能够有效为更多普通人提供法律服务。基础模型在法律领域的应用有两个突出价值：第一，自监督学习能够很好克服对法律数据进行专业标注的高成本问题；第二，为法律决策提供丰富的背景知识。但是，为了能够可靠地推理各种来源的信息从而生成真实的长格式文档，基础模型还需要进行有效的改进。为了在法律领域使用基础模型，基础模型需要具有更强的长文本阅读分析能力、检索推理能力，且因为基础模型在法律领域的失败会产生直接的法律后果，其生成内容的准确性和可靠性也需要提高。

图3：基础模型在法律领域的应用

3.3

教育

人工智能在教育领域的潜在应用非常丰富，例如为学生提供反馈系统和个性化系统，为教师提供教学建议等。尽管教育中的很多数据流因为过于有限而无法单独用于基础模型的训练，但对领域外的相关数据、跨模态数据的使用为将基础模型广泛应用于教育任务提供了可能性。如果基础模型显著增强教育相关的能力，那么结合其开放式生成能力和交互能力的新应用将很有前景。在这种情况下，需要重新考虑将技术应用到教育中的特点（例如，学生隐私问题），同时特定的问题也变得更加重要（例如，获取教育技术中的不平等、技术辅助的学术剽窃问题等）。

图4：基础模型在教育领域的应用

四、技术原理

本部分内容将讨论构建更好的模型架构、训练和适配过程以及系统扩展背后的技术，尤其关注到了数据的问题，包括数据从何而来、成分如何等。此外，本部分还讨论了从评价、可解释性、鲁棒性、安全性、人工智能安全等角度理解模型运行产生的结果。

图5：技术部分逻辑结构

（根据本报告75页绘制）

4.1

建模

基础模型需要：(1)提炼和积累来自不同来源和领域的知识，(2)以高效和可扩展的表示方式组织它，以及(3)灵活地把它泛化迁移到新的环境中。学者从计算模型捕获和理解现实世界信息的表达能力，以及熟练处理大量高维数据的可扩展能力开始讨论，并提出模型应该具有五个属性：表达性、扩展性、多模态性、存储性和组合性。其中，表达性是指灵活地捕捉和吸收现实世界的信息，可扩展性是指熟练地处理大量的高维数据，多模态性是指获取、处理和可能产生来自不同来源和领域的内容，存储性是指有效地存储和检索获得的知识，最后，组合性是指促进对新任务、设置和环境的成功泛化。

4.2

训练

训练的目标是用数学函数进行表达，以将模型架构和海量数据转化为基础模型。最好的训练算法需要能够以最高的效率在各领域内利用各种模态的海量数据进行训练。当下的训练算法多依赖于自监督训练，其突出特点是可以利用无需人工标注的数据进行训练。当下的基础模型训练方式有两种，除了引起广泛讨论的生成式模型外，越来越多的研究者也关注到了判别式模型训练方式，尽管这类方法不支持基于生成式算法的交互，但是它们可以在高维连续设置(如图像、音频和视频)中为基于分类或回归的任务提供更有效的学习。这些方法中的大多数都输出(部分)的向量，这些向量被训练成对于输入的不同“视图”是相似的，或者用于预测输入的部分是真实的还是虚假的。本部分还讨论了重要问题，包括输入数据表示的选择以及涉及明确目标表示的未来训练目标的潜力。

4.3

适配

基础模型通常是未完成的且通常是不应直接使用的，往往需要针对特定的下游任务进行适配。适配方法的选择需要考虑到算力预算、数据可用性、对模型梯度的访问权限。一直以来，适配都是以微调作为主要方式进行，而最近研究表明，作为替代方案的轻量级微调和基于提示的方法可以很好地平衡准确性与效率。学者认为，适配的具体应用场景包括适配的使用实例、任务专门化的适配、领域适配和时间适配、应用约束（隐私保护、载入被遗忘权等）、模型局部编辑，这些场景或可分为两类：下游产业的适配和基础模型的更新升级。总结来说，作者认为“适配”在本质上就是一个不断学习的过程，这是一个持续性的过程，用以更快地响应社会文化价值观的变化，更好地利用现有知识来学习新概念，通过消除训练的计算负担，减少环境影响并增加基础模型的可访问性，减少由于遗忘而必须重新学习先前学习的概念数量。

4.4

评价

考虑到基础模型的适用通常是通过适配进入下游产业链，故而学者认为考虑到调配任务的不可知性，应将模型与特定任务分离开展评价，分为基础模型的内在评价和对特定任务模型的外在评价。内在评价方面，可使用元基准评价（从广泛的适配任务完成情况中推测基础模型的表现）和内在属性直接评价（模型的特定能力或偏差）相结合的方式；外在评价方面，应考虑（预）训练资源，并强调适配资源的使用和约束情况。同时作者讨论了通过更广泛的评价设计来丰富评价指标，包括准确性、公平性、鲁棒性等。评价实践的改革会让评价充分服务于基础模型范式中涉及的多样目标和多方参与者。

4.5

系统

训练数据决定了基础模型理论上可用的信息，而模型架构和训练目标决定了可以提取多少这些信息，计算机系统决定了基础模型实际可以实现的目标。系统是扩展数据和模型大小的关键瓶颈，这两者似乎都与模型性能的提升密切相关。从综合的视角考虑算法、模型、软件和硬件的协同设计越来越重要。这种协同设计已经开始以各种形式出现，例如精心调整的DNN设计和基于检索的模型等新架构。同时，随着基础模型的广泛适配，其面临的挑战越发多元，包括跨算法、模型、软件和硬件的自动化优化、执行具有严格延迟目标的模型推理、确保以自动化方式监控模型和数据等等。

4.6

数据

数据被称为人工智能时代的新石油，是基础模型的命脉。当下人工智能研究中对数据的关注主要包括四个方面：(1) 大规模数据的管理，（2）跨新模态数据的整合，（3）数据使用的合规性分析（尤其是数据爬取的合规性），以及（4）对数据的质量理解和评价。这些问题并非基础模型所特有，但基础模型为上述的这些问题引入了全新且困难的挑战。研究人员设想通过设立一个数据中心（datahub）来解决这些问题。这个数据中心能够集成跨模态的海量数据，并能够在充分保护隐私的前提下允许更多人访问，并提供数据质量检测工具。学者阐明了该数据中心提案应如何关联基础模型的众多以数据为中心的相关考虑因素，包括选择、管理、文档、访问、可视化与检查、质量评估以及法律监管。

4.7

安全和隐私

目前，基础模型的安全性和隐私性在很大程度上是未知的。基础模型具有出现高影响力单点故障(single point of failure)的可能性，因此成为了攻击的主要目标，现有实践已证明了这些模型的各种安全漏洞或隐私风险。此外，基础模型的普遍适用性加重了这些风险。学者研究认为，就安全性来说，基础模型也可以作为安全阻塞点，以抵抗投毒、模型窃取或资源耗尽攻击；就隐私保护而言，基础模型的通用性会降低其对敏感数据的需求，同时降低数据精度，或可以使样本更有效地适配敏感数据分布；就鲁棒性而言，理解如何最好的利用过参数化和无标签数据来实现对抗鲁棒性将是未来研究的一个重要方向。

4.8

对分布变化的鲁棒性

分布变化是指数据的概率分布随着时间、应用场景或其他因素的变化而发生变化的现象，对分布变化鲁棒是指在不确定数据分布的情况下，寻找一个能够适应各种分布变化的最优解。现有工作表明，对在广泛的未标注数据上训练的基础模型进行适配可以提高适配模型在各种变化中的鲁棒性，然而“伪相关”和“时间漂移”带来的挑战或许仍然有待解决。为此，研究人员提出必须要理解基础模型的鲁棒性原理、探索能够增强鲁棒性的数据增强手段、探究更好的下游适配方式等。

4.9

人工智能安全与对齐

人工智能安全领域关注先进 AI 模型可能导致的意外、危害和风险，尤其是社区或社会所面临的大规模风险。研究人员就价值对齐(align)问题进行分析，以期模型不会以错误的目标或价值观进行部署，研究人员认为在过去的实践中通过“可纠正性”解决价值对齐问题，但在基础模型场景下，还要求应对于模型行为具有实质控制力并且要求其行为具有可解释性。学者鼓励未来对于基础模型能力和风险的准确表征和预测的研究；鼓励设计新的方法来将基础模型与人类价值观和良好行为对齐。

4.10

理论

尽管人工智能模型在实践中表现超凡，但是研究者对于基础模型理论方面的理解仍十分有限，尤其是预训练到适配过渡阶段中的理论发展，因为预训练阶段和适配阶段(可能)对应完全不同的任务和数据分布。成功的过渡可能依赖于一些条件，包括预训练和适配的分布、目标函数、训练方法以及模型的结构，这些超出了标准泛化理论的范围。同时，研究人员也关注到了机器学习的涌现问题，他们认为模块化或许可以为某些涌现的出现提供理解框架，但是另一些涌现行为（如语境学习和其他尚未发现的功能）可能需要相比于模块化来说更深层的理解。

4.11

可解释性

基础模型的“单模型-多模型”性质增加其可解释难度。目前的解释方法通常是为解释特定任务模型的行为而设计的，而基础模型的可解释性的一个核心问题是理解它在单模型和多模型图谱之间的位置。作为单模型，其行为可以通过识别和表征用于产生跨任务行为的有限可泛化模型机制（例如，为单词分配含义、比较数量和执行算术的机制）的数量实现可解释。作为多模型，一项任务中模型行为的解释不一定能为其他任务中的行为提供信息；因此需要在每项任务中独立地研究行为。研究人员认为，单模型-多模型范式下的模型解释方法，应从单模型(基础模型)及多模型(其适配的衍生模型)以何种程度共享决策的角度设计。从社会影响角度来说，可解释性在基础模型研究中具有关键作用，可解释性所要求的为普通民众提供解释，或许能够有效限制基础模型技术被资本异化的问题。

五、社会影响

因为基础模型具有能够快速迁移并部署到各样应用中的特点，它或将对社会产生大范围的影响。本文从以下五个方面分析基础模型的社会影响：（i）不公平性，（ii）滥用导致的影响，（iii）对经济和环境的影响，以及（iv）法律角度和（v）伦理角度下的广泛影响。

5.1

不平等与公平

基础模型可能加剧社会的不平等。研究人员分析了基础模型在任务完成过程中所扮演的角色，提出基础模型的内在偏置和外在危害，前者指基础模型内在产生有害预测结果的属性，后者是指在使用基础模型构建的特定应用程序的背景下产生的危害。研究者认为，追溯基础模型和适配过程中不平等的来源至关重要，并从数据、模型、建模者这三个视角分析偏见来源问题与未来研究方向。为了解决基础模型产生的不公平结果这一问题，本文还提出了主动干预(例如，反事实数据增强等技术方法)和被动追索(例如，反馈传播机制以及道德/法律责任的归属)两种机制并行的方案。

5.2

滥用

基础模型的滥用指的是部分使用者对基础模型的不当使用，会导致严重的社会危害。例如，使用文字、图片生成技术来制造虚假信息、合成深度伪造内容。基础模型的完善可能会导致更多的滥用行为，人工干预可能难以应对。研究者提出通过适配训练将基础模型作为虚假内容探测器，来预测、甄别某些类型的自动生成的内容是否来源于滥用行为。但必须要承认的是，任何检测系统都会出现假正例情况（人生成的合适内容被标记为有害），也可能会引起虚假内容生产者和检测系统之间的“军备竞争”。内容平台在打造检测模型来规制虚假信息的进程中，或可发挥更大作用。

5.3

环境

基础模型在预训练、适配训练阶段、部署后应用迭代过程中，都会产生大量碳排放，导致环境恶化问题。研究人员建议，(1) 首先，必须缓解碳影响，这可以通过在低碳强度地区训练模型或者使用更高效的模型和硬件来实现；(2) 当所有缓解机制用尽且不可能进一步缓解时，应评估社会成本和收益来确定是否应该以及何时在更小、更高效的模型上部署更大的基础模型 ，并在人工智能系统全生命周期视角下，减少碳排放；(3) 鼓励基础模型的研究人员和工程师提供其模型的计算、能源和碳成本，以及在创造基础模型时使用了哪些碳减排策略。

5.4

合法性

本章节基于2021年的美国法律来分析法律如何影响、约束或促进基础模型的创造和使用，强调了 (1) 模型训练、(2) 模型预测的责任和 (3) 对模型输出内容的保护相关的法律问题。值得注意的是，本章节更多从事后处理机制来介绍法律的规制，但是在事前和事中阶段，道德层面的约束和技术层面的研究至关重要。具体来说，在模型训练阶段可能涉及非法爬取数据问题、训练数据集违反知识产权和隐私权保护问题；在模型预测、决策过程中，或引起侵权问题、民权法挑战和对行政机关的特殊限制问题；而模型的输出内容可能涉及言论保护、输出内容所有权的问题。这些问题的解决对于基础模型的构建、使用和部署都至关重要。

5.5

经济

基础模型由于其新颖的功能以及在多种行业的潜在应用，可能会对经济产生重大影响。基础模型有潜力通过提高生产力和创新来显著提高整体生活水平，这些模型可以用来替代人工或者帮助人类发现新的任务和机会，这样可能导致所有权和权力更加集中或者分散。总结来说，基础模型既可能由于其潜在的中心化而导致不平等的加剧，也可能因其强适配能力而带来更广泛的共享繁荣。这将由技术人员、决策人员、管理人员、产业工人和其他社会参与者的选择和行动共同决定。

5.6

伦理

本章节讨论了具有同质化、涌现特点的基础模型规模化应用后，可能带来的社会、政治和伦理风险和应对建议。

具体来说，风险包括（1）结果的同质化，基础模型因其训练数据质量问题、架构问题可能导致其本身带有各类偏见或总结出各种虚假的相关性，而基础模型的同质化将会把这种风险扩大到社会的各个层面，将偏见标准化并加剧不公平；（2）模型创建者的影响力不断集中，基础模型的开发需要大量数据，享有最丰富资源的组织将最有能力生产具有竞争力的基础模型，而个人、初创企业的竞争力将大幅下降，这很有可能导致寡头垄断的情形，特别是在政府服务领域，基础模型的采用可以进一步将决策权从政府转移到企业服务提供商，并为程序正当性和问责制引入额外的障碍。

而在应对建议方面，研究人员提出如下建议：（1）以推荐性建议和强制性要求相结合的方式设计基础模型开发和部署阶段中的规范，对基础模型的资金架构、模型存储、发布实践、会议文件和拨款提案要求等方面进行制度化，建议通过规范设置打通基础模型开发者和部署、应用端之间的沟通渠道，公开发布部署、应用中出现的问题，同时要求为模型设置标签卡，写明其使用的训练数据和基础模型，以及已知的能力、弱点和偏见等。（2）在基础模型分阶段发布的过程中对基础模型进行审计，同时积极鼓励开源以探索基础模型可能带来的其他有价值的应用场景。（3）开发基础模型的技术人员应当意识到基础模型的开发并非纯技术行为，而是一个具有政治影响的社会行为，技术人员应当思考该项技术扩张了哪些主体的权利，并思考何时应该停止基础模型的开发活动，事实上何时不构建模型既是个体的问题也是集体的问题，而这需要整个社区遵守职业道德和责任准则，本文认为当下应该重视旨在使基础模型更具可解释性、易访问性、可持续性和公平性的研究。

六、总结

本报告综合多学科视角探究新兴范式的本质特征、能力、应用场景、技术原理和社会影响，有利于促进人们对基础模型的认知和定位，推动人工智能新范式的产生。为了“基础模型+适配应用”的范式能够负责任地持续发展，社会各界、各类机构主体和各种学科持续的通力合作十分重要。

【编译】李叙燃 网络法理论与实务前沿数据治理组编辑

【编辑】宋佳钰 网络法理论与实务前沿执行主编

【指导教师】张欣 对外经济贸易大学数字经济与法律创新研究中心执行主任

标签：