2020年1月20日，美国兰德公司网站发表博客文章，题为《人工智能与现实制造》（Artificial Intelligence and the Manufacturing of Reality），作者是克里斯托弗·保罗(帕蒂兰德研究生院教授)，有关内容编译如下。
2016年，接受调查的美国人有1/3告诉研究人员，他们相信政府在隐瞒对“北达科他州崩溃”的了解，而这是由研究人员出于调查目的自己精心策划的一个阴谋。这次崩溃根本没有发生，但它凸显了人类在决定什么是真实的或不真实的过程中所带有的缺陷。
互联网和其它技术使得更易于将其用作武器和利用这些漏洞，比以往任何时候都更快、更引人注目地引诱更多的人。人工智能很可能会以前所未有的规模、速度和有效性水平来利用人性的内在弱点。像俄罗斯这样的对手可以追求一些目标，即利用这些操纵手段来巧妙地重塑目标受众对周围世界的看法，从而有效地制造现实。即使我们的预测只有一些是准确的，所有依赖于公众舆论、大众认知或公民参与的治理也都将面临风险。人类的弱点之一是其容易错误地重新定义自己所经历的事情。这种被称为托马斯定理的缺陷表明：“如果人们将情况定义为真实的，那么其后果就是真实的。”换句话说，人类不仅对情况的客观特征做出反应，而且对自己主观的情况诠释做出反应，即使这些信念实际上是错误的。其他缺点包括我们愿意相信不真实的信息，以及容易受到情感诉求和理性影响的倾向，如“北达科他州崩溃”谎言所证明的那样。
还可以教会机器比人类更有效地利用这些缺陷：为使目标受众做出所期望的反应，人工智能算法能针对数百万人高速测试哪些内容有效以及哪些内容不能一遍遍地重复。
看看俄罗斯在2016年英国脱欧投票中的角色。有证据表明，与俄罗斯相关的推特账户3800个，发送的1000多条推文在投票日推动了赞成脱欧投票。随着时间的流逝，这种推文似乎在推特上煽动了脱欧阵营的火焰，而反脱欧阵营在投票前几天做出了反应。
包括对抗生成网络、自然语言处理和量子计算在内的新兴技术可使这种作法更加有效。例如，将来俄罗斯行为者可以根据受众的特征及其在各种在线平台上的行为来剪裁推文中的信息，而确定受众在各种在线平台上的行为的依据是他们向数据经纪人合法购买的用户数据，以及从黑客那里购买的非法数据和他们自己检索的数据。
现在可以利用这些机会，并且某些机会可能会变得越来越容易被人工智能所利用。例如，在将来，像俄罗斯这样的对手可以查询这些数据流以定制其消息，并在社交媒体平台上对其进行测试以识别最有效的消息。然后，此类攻击者可以相应地更改这些经过测试的消息，并通过各种在线媒体(例如，传统的社交媒体平台、增强现实、虚拟现实设备或无创性脑机接口)将其发送到用户及其社交网络。
当前，许多操作都是手动完成的，但人工智能可以改变规模。新兴技术将使这种迭代式优化循环几乎实时发生，并且其影响范围比英国脱欧投票期间所涉及的人数要多得多。
(1)现实制造并非新事物
人类过去一直很容易受到欺骗、挑衅、左右、引诱或以其它方式受到操纵。至少从20世纪60年代开始，苏联军方和随后的俄罗斯机构就认识到了利用此漏洞的机会。这就是为什么苏联人开发了一个正式的研究计划(称为反身控制理论)来模拟如何操纵目标对现实的看法。该理论着重于策略性地将信息传递给目标的方式，从而巧妙地改变其决策的动机和逻辑。最终目标是使人们相信某事符合他们的最大利益，即便这不是最有利的，也可以使人们做某事。当俄罗斯人将反身控制理论用作武器时，麦迪逊大道使用类似的逻辑唤起了人们的情感，并向美国消费者出售产品。
俄罗斯人使用反身控制的例子不胜枚举。例如，在1993年10月，俄罗斯一些立法人员接管了自己的议会，倡导恢复共产主义。当局决定让叛乱者占领一个警察通讯站，从而使其进入一个可靠的通讯频道，然后由警察在这个频道传送政府官员有关计划攻占被占领的国会大厦的虚假对话。听到这一消息后，叛乱领导人之一——议会发言人鲁斯兰·卡什布拉托夫呼吁支持者夺取当地电视台，这是政变的第一步。通过让卡什布拉托夫公开提出暴力要求，俄罗斯当局创造了猛攻议会和逮捕异议人士的理由。
同样，东德也意识到了制造现实对维持内部控制的力量。从20世纪70年代左右开始，其称为“斯塔西”的国家安全部将工作范围从对目标的身体虐待(例如酷刑或处决)扩展到了某种心理虐待。“斯塔西”将这种技术称为Zersetzung，它大致翻译为“分解”。这是一项有组织的科学工作，旨在收集有关人的信息，然后以破坏人们在私人和公共生活中自我意识的方式使用这些信息。“斯塔西”闯入目标者的房屋，重新布置家具、偷走衣物或关闭时钟。他们会发送一些照片，使工作场所中的人蒙羞，将异议人士的子女驱逐出境，或者诱使他们认为自己患有精神疾病，这在今天被称为“煤气灯式心理操纵”。“分解”的受害者会努力了解为什么其生活变得稀奇古怪了。
但是，俄罗斯和“斯塔西”的这些战术需要进行认真的研究和执行，才能一次性地破坏或操纵目标。当代的信息环境和现代工具(包括人工智能)，可以大幅降低此类操纵的交易成本。以下方法可以在信息武器化方面实现显着扩展。
(2)现实制造与现代工具相结合
① 大数据
有人预测，到2025年，人类每天将产生大约463艾字节，足以装满2.12亿张DVD。个人数据以令人恐惧的细节对其进行了描述。通过从合法和非法数据经纪人那里访问此类数据，人工智能可以结合并匹配其亚马逊购物、谷哥搜索、推特、脸书照片、401k账户余额、信用记录、其Netflix的浏览习惯和在线搜索等。
② 精准分发和微观定位
基于状态更新、发布的视频草稿、面部识别数据、电话和短信，大数据可以帮助识别哪些人与其他人相似，以及哪些相似之处很重要。人工智能将使其在将来变得越来越容易。如果操纵者对某人的了解足够多，就可以向他或她发送刺激或激励信息，那么向类似的人发送相同的消息应该产生相似的结果。
③ 浅表伪造、深度伪造和社交机器人
浅表伪造是通过手动篡改图像、视频或音频来创建的。深度伪造使用人工智能将图像、视频和录像叠加到源文件上，以巧妙地改变谁在做什么。人工智能驱动的“社交机器人”可以像真人一样进行对话。人工智能将极大地增加这种不真实的“人”的数量，并且使人与人之间的对话更加困难。
④ 对抗生成网络
帮助使深度造假的东西变得如此现实的技术之一，是使用一类称为对抗生成网络(GAN)的机器学习系统。这些网络具有两个神经网络模型：生成器和鉴别器。生成器获取训练数据并学习如何重新创建它，而鉴别器则尝试将训练数据与生成器重新生成的数据区分开。两个人工智能参与者反复博奕，每个参与者的工作迭代都越来越好。
目前，对抗生成网络已被用来为假色情影片和政治讽刺作品进行深度造假。而其操纵能力应使我们担心，原因有几个。首先，它们可以使用诸如大数据和精确推销之类的输入来扩展如深度造假之类的内容制造。其次，生成器和鉴别器神经网络之间的迭代竞争是在机器速度下进行的，并且是精确的。第三，可以将对抗生成网络的基础逻辑应用于其它实践。
结论
现在由人工智能驱动的社交机器人向您发送汽车或护肤广告，它们可能开始与您聊天(实际上是在试验您)，以测试哪些内容会引起最强烈的反应。您的回答将反馈到类似对抗生成网络的系统中，在此系统中，您和无数其他人将扮演鉴别器的角色，所有这些都有助于人工智能学习如何在未来的刺激中更好地操纵您。您或您这样的其他人可能会慢慢地被迫改变对其它团体或在外交和国内政策问题上的态度、偏好或行为。谁最先开发和使用这样的系统，就很容易在未来几年内吸引广大公众。
鉴于当前的社交媒体格局，抵御这种大规模操纵将特别棘手，当前的社交媒体可以通过使用机器人或其他形式的自动化来轻松地复制虚假的个体、人物和账户。开发保护性的工作可能有几种方法，以防止使用人工智能对人类进行实验。政府监管是一种方式。政府可以规范社交媒体公司的身份认证标准。可以对不符合这些标准的公司处以罚款，为符合这些标准的公司提供税收减免，或对每个开设新社交媒体账户的用户征税。此外，美国证券交易委员会可以为公开交易的社交媒体公司制定标准，以在其文件中报告真实、活跃的用户。例如，2016年，美国证券交易委员会对推特在其平台上报告每日和每月活跃用户的方式表示关注。证券交易委员会可以制定报告真实用户的标准，这不仅可以保护投资者，而且还可以确保在这些平台上开立账户的透明度。
另外，社交媒体提供商可能会主动采取措施限制多个账户或不真实的账户。如果这些公司认为这样做符合其利益，那么它们可以采用多种方法来减少虚假账户的传播。此类措施可能包括更严格的身份认证和验证，或者可能强加与开设每个账户相关的名义成本。合法用户只会受到这种费用最小程度的不便，但僵尸牧人可能会发现这种费用高得令人望而却步，或者为无数假账户安排付款程序遇到了障碍。此外，金钱痕迹追踪将为识别不真实账户甚至追溯到犯罪者提供了另一种手段。
这些措施结合起来将使成本和激励措施保持一致，以防止用户开设数千个人工智能支持的非真实账户。不管新技术是否不断发展，不真实内容的生产者将始终需要一种方法来分发其操纵性信息。这些分发渠道将成为我们抵御现实制造武器化的第一道防线。
不幸的是，当前的激励结构几乎没有为推动社交媒体公司采取这样的措施提供动力，因为广告收入的本质是奖励大量活跃账户，无论它们是由真实的人还是通过自动化来管理的。但可以想象，重视与真人互动的用户会奖励社交媒体公司，后者会采取措施确保其业务和流量账户的真实性。真实性可能成为某些社交媒体平台的重要品牌属性，并受到消费者行为的激励。
