2025 年军事 AI、和平与安全对话的主要收获
在此下载 PDF 版本
2025年军事人工智能、和平与安全（MAPS）对话由联合国裁军事务厅（UNODA）召集，由大韩民国资助，旨在为各国提供一个平台，分享知识并提高对军事领域人工智能的国际和平与安全影响的认识。该倡议为正在进行的多边讨论提供了一个中立的环境，各国可在此与国际组织、民间社会、研究人员和行业接触，交换意见并确定实际合作领域。
本说明提炼了分别于 2025 年 3 月 12 日和 25 日举行的两次公开网络研讨会--"军事人工智能：机遇、风险与国际和平与安全 "和 " 军事领域人工智能的 能力建设与 国际合作"，以及随后于 2025 年 7 月 2 日根据查塔姆大厦规则举行的一次面对面会议--的意见和收获。本报告记录了会员国之间后续对话可能参考的主题，包括近期交流可能有帮助的领域。
这两次公开网络研讨会有 9 位专家参加，分别有 205 和 187 人出席，他们分别来自会 员国（50%）、民间社会组织（30%）以及国际和地区组织（20%）。33 名代表参加了现场会议。所有三项活动都有大量全球南方国家的代表参加。
在所有活动中，与会者都认识到，人工智能技术可被整合到一系列功能和任务中，相关的风险和机遇取决于使用环境。
对和平与安全的潜在贡献
与会者确定了负责任地使用人工智能可促进和平与安全的几个领域。他们强调，必须区分战略机遇和人道主义机遇（如在冲突中保护平民），同时承认，负责任的做法可以在有意识的情况下支持这两类使用案例。
首先，人工智能可以加强信息处理和决策支持，使操作人员和指挥官能够处理大量数据、识别模式并更有效地分配注意力。这与潜在的态势感知和跨动能和虚拟环境的知情决策有关。
其次，人工智能可在危险环境中执行或加强任务，如爆炸物搜索、路线清理或通信能力下降的行动，从而降低人员风险。与会者认为，在了解和遵守性能限制的情况下，这些功能可带来安全和效率方面的好处。
第三，一些与会者指出了在 保护平民方面的潜在贡献 。例如，这些工具有助于确定平民环境的特征，支持将附带伤害降至最低的规划，或提高警报的及时性和准确性。与会者强调，这些益处不是自动产生的。它们取决于数据质量、稳健性和控制措施，以确保由人类做出合法和合乎道德的判断。
最后，后勤、维护和培训等领域经常被强调为适用且争议较少的领域。即使在这些领域，与会者也强调了规范操作的重要性，包括测试和操作员培训，以防止过度依赖和意外影响。
风险动态和操作问题
除了机遇之外，与会者还考虑了在军事环境中出现或扩大的风险。首先，技术可靠性和稳健性是核心问题。当数据稀少、嘈杂或不能代表运行环境时，概率系统可能会出现不可预测的行为。讨论了对抗性操纵和数据中毒的脆弱性，以及在时间紧迫的情况下可解释性的实际限制。数据保密性和更广泛的网络安全风险影响着人工智能在军事领域的发展和整合。与会者还注意到上游因素：在合成数据或非专用数据上进行训练可能会加深偏差或降低性能。训练和运行大型人工智能模型的能源需求也会对环境造成影响，例如碳排放或电力消耗；因此，各国必须进行可持续性和复原力规划。
其次，与会者还研究了与人机交互相关的风险。过度信任、自动化偏差和警惕性下降可能会导致用户过度依赖系统输出，尤其是当界面传递出不必要的确定性时。相反，信任不足则会抵消潜在的益处，例如，由于人工智能生成的准确见解与人类操作员的信念或期望相矛盾，因此会被忽略。因此，几位与会者把重点放在了设计选择和培训上，以适当调整信任度，包括明确指出何时脱离或升级到人工审核。还有人指出，人工智能系统在执行任务（如数据处理或操作支持）时的高效率可能会无意中鼓励过度依赖，并使人对决策的人为影响产生 "距离感"。
第三，在人工智能系统的整个生命周期中都存在滥用的风险。这包括内部威胁或其他 "不良行为者 "在部署时的恶意使用，人工智能加强进攻性网络行动的前景，以及非国家行为者的使用，包括在标准问责框架之外运作的私营军事公司。一些与会者特别提醒注意核指挥、控制和通信（NC3）结构等高风险环境，在这些环境中，误读或误判可能造成特别严重的后果。
另一个反复出现的主题是决策时间压缩。虽然一些人工智能工具旨在加快复杂信息的解读过程，但更快的决策周期可能会减少可供人类考虑的时间，并损害指挥官理解人工智能系统的输出和行动背后的理由的能力。这就增加了错误、升级或误判的可能性，尤其是在压力下和危机时刻。与此相关的是，军备竞赛动态被认为是风险的另一个驱动因素。对战略竞争的看法以及希望获得对对手优势的心理信念，可能会造成快速部署能力的压力，从而可能超过保证、测试和管理程序。
法律、伦理和政策支柱
与会者申明，现有相关法律义务，包括《联合国宪章》、国际人道主义法和国际人权法，适用于开发和使用人工智能军事能力。与会者强调要保留人类对使用武力决定的判断和控制，并确保人类行为者在整个生命周期中承担责任和问责。各国介绍或提及根据日内瓦四公约第一附加议定书第 36 条进行的法律审 查，表示这些做法也适用于人工智能，包括在系统更新或重新使用时进行后续审 查，以及军事法律顾问的作用。
强调了责任和问责的重要性。有人告诫说，法律决定，如与必要性、相称性和区分原则有关的法律决定，不应编入不透明的系统，决策支持工具应促成而不是取代合法性和道德推理。随着系统的更新或由其他模型组成（"人工智能训练人工智能"），归属和可追溯性可能会变得更加复杂，这突出表明需要记录、审计和明确操作员、开发人员和指挥官的角色。对于将生死攸关的决定权下放给人工智能的任何做法，都存在道德问题。一些撰稿人还指出，现实世界中的决策具有认知复杂性，往往依赖于默认的判断和直觉，并质疑当前的系统在多大程度上可以有意义地复制人类的这种能力。有与会者指出，国际人道主义法要求追究战争罪的个人责任。
保证和评估做法
保证措施通常被认为是通过在人工智能的整个生命周期内进行循证测试、评 估、验证和确认(TEVV)等方式，增强对人工智能系统的信任。与会者强调了有代表性的测试数据、重新分组和基于场景的试验在了解性能极限、故障模式和分布变化下的稳健性方面的价值。明确说明预期用途、操作界限和已知限制等文件编制做法被视为监督和学习的促进因素。
与会者表示，保证不是一个标签，而是一个持续的过程。模型、数据或集成途径的更新会极大地改变行为。因此，与会者强调了变更管理和定期重新评估。传达不确定性、置信区间和适当警告提示的界面被认为是使用中保证的一部分。操作员培训也是讨论的一部分。培训有助于减少认知误区，包括自动化偏差和过度依赖，并应包括脱离标准和升级到人工审核程序的演练。几位与会者建议，保证和培训相辅相成，评估结果应纳入课程和标准操作程序。
能力建设与合作需求
与会者确定了人员、流程和技术方面的优先需求。
在人员方面，多学科工作人员队伍被认为是必不可少的。这包括操作人员、指挥官和规划人员、工程师和数据专家、律师和政策官员。与会者认为，识别认知偏差和人工智能系统局限性的培训对所有这些群体都很重要，而不仅仅是技术专家。
在程序方面，与会者讨论了人工智能系统法律审查实践的可共享要素、基准技术和伦理审查协议以及注重保证的采购方法。一些意见强调了知识和技术共享以及区域同行学习在缩小能力差距和促进兼容做法方面的价值。这些方法还能使所有国家有意义地参与与人工智能有关的多边讨论。与会者认为，合作应与安全背景以及人工智能的发展和传播水平相称，并应 尊重这些背景和水平，重点是实用方法和经验教训。
在技术方面，几位与会者强调需要可获得的透明评估工具，以及尊重主权和隐私的安全数据访问安排。对许多国家而言，通过数据集、情景或共享方法对有代表性的条件进行测试的能力被视为一个切实可行的推动因素。
进一步交流的趋同性和实用途径
对象层面的途径
在所有讨论中，有几个主题被视为将高层次原则转化为可行做法的实际途径。共识领域包括国际法的适用性、保留人对使用武力决定的责任的必要性、保证和生命周期管理的重要性以及包容性能力建设的价值。与会者普遍认识到，负责任的做法需要审慎投资，而不是技术现代化的自动副产品。
人工智能与核武器的交叉被认为是一个后果严重的领域，在这个领域，建立信任措施和透明度被认为是至关重要的，但却发展不足。建议的重点是采取切实可行、适度的步骤，减少误解，同时注意敏感问题。一些意见强调了将人工智能纳入核决策的潜在红线。
程序层面的途径
一些与会者建议，澄清范围和术语的初步工作可促成富有成效的讨论，在军事领域落实负责任的人工智能原则。由于人工智能具有双重用途，风险取决于具体情况，因此与会者指出，范围不应仅由技术或操作者类型来界定，还应由使用环境来界定。进一步的交流可以探讨实用的范围界定标准，为讨论提供基础，并帮助确定可能存在的治理差距。
与会者还指出，对话的背景和方式决定了对话的结果。多方利益攸关方的形式可以在各个层面促进透明度和信任，而重点突出的讨论往往会产生更有利于业务的成果。与会者建议，各国应考虑从宽泛的原则过渡到量身定制的框架--无论是以应用为重点的框架、风险应对框架，还是其他务实的方法--以审查在特定业务背景下使用的某些技术的具体特点如何与现有的法律义务和业务实践相互作用。
最后，鼓励与平行进程进行协调，以避免重复或制定不同的规范，并发挥协同作用。交流可以将有关民用人工智能治理的工作与有关致命性自主武器系统的讨论联系起来，确定在哪些领域可以转让兼容的方法、做法和经验教训，在哪些领域需要区别对待。还建议开展区域或专题后续活动，以巩固学习成果，反映不同的运作背景，并深化技术、法律和政策界之间的合作。
结 论
会议强调了人工智能在军事领域的前景和风险。在信息处理、安全和效率方面的机遇是真实存在的，但取决于是否有周密的保障措施。风险--错误、升级、脆性和滥用--只有在保证、人类判断和控制以及合作方面持续投资，才能得到控制。
联合国裁军事务厅确定了 "军事行动伙伴关系对话 "的若干未来工作领域， 包括进行深入讨论，就机遇和风险、潜在的红线（如与裁军、军备控制和不扩散制 度有关的红线）以及支持国家间对话的外交工具达成共识。为此，联合国裁军事务厅目前正在为2026年MAPS对话寻求资金。
欲了解更多有关 MAPS 对话的信息，请联系 Ulysse Richard 先生，电子邮件：ulysse.richard1@un.org。
