摘要：4月2日，兰德公司发布报告《新兴技术和风险分析：人工智能和关键基础设施》，重点关注了未来十年关键基础设施中人工智能应用的技术可用性、科学技术成熟程度、市场需求、政策法律、道德和监管障碍、风险等。报告将人工智能划分为三个类别：狭义人工智能（ANI）、通用人工智能和超人工智能。报告预测，未来十年人工智能很可能仍然只实现了狭义人工智能；人工智能科学技术的成熟度将取决于几个关键技术领域，包括高性能计算、先进半导体开发制造、机器人、机器学习、自然语言处理等。

该报告重点关注人工智能，尤其是与关键基础设施相关的人工智能。作者借鉴了有关智慧城市的文献，在评估技术时考虑了四个属性：技术可用性、风险和情景。本分析中考虑的风险和情景与影响关键基础设施的人工智能使用有关。作者比较了短期（最多三年）、中期（三至五年）和长期（五至十年）三个时期的这四个属性，以评估人工智能关键基础设施的可用性和相关风险。

技术可用性

人工智能领域包含众多技术，这些技术一旦问世，就会被纳入人工智能系统。因此，人工智能的进步基于几个基本技术领域的关键依赖关系，包括高性能计算、先进半导体开发和制造、机器人技术机器学习、NLP和数据科学（包括关键数据的积累和保护）。具体的应用也会根据各自的时间表走向成熟。ContextualAI的一项分析表明，手写分析、语音识别、图像识别、阅读理解和语言理解都已经超越了人类的表现，而其他任务，如常识完成、小学数学和代码生成则达到了大约85%到90%。

人工智能系统的开发、部署、发现不足和其他潜在用途，以及快速更新，这样的循环可能是人工智能的一个特点。不足为奇的是，这种方法在互联网、社交媒体和现在的人工智能等许多技术中都很常见。

对于关键基础设施而言，这意味着依赖于大数据、网络、高性能计算和物联网的子系统将在人们完全了解其局限性之前就被纳入其中：这也意味着如果人工智能系统出现灾难性故障，尤其是在关键基础设施领域，其风险可能会非常高。

要应对这些挑战，就必须对技术和适当的缓解措施进行编码开发。必须清楚地了解人工智能平台的价值和目标，并制定限制条件，防止偏离人类的期望和规范。报告还认为，必须更好地理解无监督学习的使用；随着人工智能系统中允许出现无监督学习，系统的追踪能力将变得更具挑战性。

开发人工智能，尤其是在早期阶段，需要获得关键技术，而这些技术目前受到资源可用性的限制。正如《华盛顿邮报》2023年10月的一篇报道所指出的：“要以任何有意义的规模构建人工智能，任何开发人员都必须具备以下核心技术，对资源的依赖主要集中在少数几家公司”。

开发人工智能技术所需的成本和资源主要体现在四个方面：专用设备（如半导体和高性能计算机）、数据、基础设施和人力资本。半导体是一个关键组成部分。高性能计算也供不应求，但对于处理超大数据量仍是必不可少的，而这些数据量是获得对正在开发的人工智能系统的信心所必需的。

数据是人工智能的重要组成部分，随着用于开发和训练模型的数据量的增加，人们对人工智能模型的信心也会增加。

开发人工智能系统的成本和复杂性相对较高，而与人工智能系统互动的成本和易用性相对较低，两者之间存在资源对立。OpenAI的首席执行官表示，“GPT-4的训练成本超过1亿美元”，但该产品可在线使用，根据所要执行的任务，只需支付很少费用或无需支付任何费用。

报告评估认为，这些趋势可能会继续下去。开发复杂的人工智能系统将超出可能寻求开发新人工智能系统的大多数用户的能力，但将人工智能系统用于各种合法和非法目的可能会变得更加普遍。政策、法律、道德和监管方面的障碍可能会对人工智能技术的应用构成重大障碍。

风险评估

人工智能对关键基础设施的威胁可能来自几个方面。人工智能可用于开发和监控关键基础设施，这可在优化设计、提高效率和确保安全方面带来好处。然而，如果在设计基础设施时使用的输入信息被不当使用或篡改，以这种方式使用人工智能也有可能造成威胁。

人工智能为攻击者和防御者都带来了进步。微软公司的一份报告指出：“人工智能技术可以自动解读攻击过程中产生的信号，有效确定威胁事件的优先级，并做出适应性反应，以应对敌对行动的速度和规模。”

物联网功能的不断融入增加了网络攻击的脆弱性。正如一个消息来源所指出的，“人工智能通过其吸收使用模式数据和提供预期需求精确计算的能力对电网系统产生影响，使其成为电网管理的一项主要技术”。攻击面的扩大也会产生其他潜在的漏洞。人工智能系统可用于进行网络侦察、制定网络渗透计划，甚至进行攻击，所有这些都无需人工干预。

内部威胁是另一类活动，可用于在人工智能从开发到使用技术的多个阶段攻击关键基础设施。在开发人工智能系统的过程中，内部人员可能会制造不安全因素和后门，从而成为被利用的目标。有监督的数据或无监督学习可能在开发阶段被掺杂，导致基础或变压器模型的训练不正确。这可能会导致产生错误的传感器信息信号，甚至导致操作员采取不必要或危险的行动。

人工智能系统的自主程度也可能构成威胁。例如，在智能电网中，工业控制系统可能会提醒操作员系统出现故障，并要求采取行动。人类操作员甚至人工智能—人类操作员团队可能会进一步询问系统，以验证故障信号，而人工智能操作员则可以根据不正确的训练决定立即采取行动。这两种情况都可能产生问题。

随着人工智能的范围和规模越来越大，用途越来越普遍，可能会出现更多的问题。例如，能够规划和控制智能城市甚至关键基础设施的人工智能平台可能被用来制定针对这些关键基础设施的攻击计划。人工智能还被考虑用于在开发可用于攻击重要基础设施或人口的先进生物和化学武器方面。

复杂性也令人担忧。报告评估认为，随着人工智能系统变得越来越复杂并接近AGI，人类将越来越难以理解和评估人工智能进程的结果。

因此，在减少人工智能脆弱性的过程中，必须遵守关于人工智能技术的五项原则，即负责任、公平、可追溯、可靠和可治理。此外，使用广义人工智能网络（GAN）、人工智能模型的验证和核实协议，以及减少与促进人工智能开发和使用的技术相关的漏洞也至关重要。

主要发现

（1）人工智能是一种变革性技术，很可能会广泛应用于整个社会，包括关键基础设施。

（2）人工智能可能会受到许多与其他信息时代技术相同的因素的影响，例如网络安全、保护知识产权、确保关键数据保护以及保护专有方法和流程。

（3）人工智能领域包含许多技术，一旦可用，这些技术将被纳入人工智能系统中。因此，人工智能科学技术的成熟度将取决于几个关键技术领域，包括高性能计算、先进半导体开发和制造、机器人、机器学习、自然语言处理以及积累和保护关键技术的能力。

（4）为了将人工智能置于当前的成熟状态，划分三个人工智能类别是有用的：狭义人工智能（ANI）、通用人工智能和超人工智能。到本次分析的十年结束时，该技术很可能仍然只实现了ANI。

（5）人工智能将为关键基础设施和专用智能城市的最终发展带来机遇和挑战。