本文来自微信公众号“计算机世界”。
自从2022年底ChatGPT发布以来，互联网上一直充斥着各种或悲观、或乐观的情绪。不管你是喜欢还是讨厌，人工智能都会进入你的开发团队。即使你不打算开发人工智能产品或采用人工智能开发机器人为写代码，它仍然可能被整合到用于构建、测试和运行你的手动编写源代码的工具和平台中。
人工智能工具会带来与众不同的风险。而且，这些风险可能会抵消自动化曾经需要人类大脑执行的任务所带来的巨大的生产力效益。这些风险来自于人工智能的训练、构建、托管和使用方式，所有这些都与开发者目前使用的其他软件工具不同。了解风险是管理风险的第一步，为了帮助你了解与即将到来的人工智能工具相关的潜在风险，我们编写了一些面试问题，可以算作人工智能入职考察过程的一部分。
无论人工智能的类型或希望利用其达成的目的如何，都应该问这些问题。
1.你将选用的人工智能的服务器在哪里托管？
现代人工智能目前需要专用、昂贵的硬件来完成我们今天看到的头条新闻中的惊人任务。除非你打算收购一个全新的数据中心，否则你的人工智能机器人将远程工作，并需要与使用远程访问和异地数据存储的远程人类工作者一样的安全考虑。
在代码离开边界时，有什么样的保护措施来防止IP丢失？从智能电视到汽车的一切都在向制造商报告使用数据。一些人正在使用这些数据来改进他们的软件，但另一些人正在将其出售给广告商。准确了解你的人工智能工具将如何使用或处理源代码或其他用于其主要任务的私人数据。
2.你的输入是否会被用于人工智能的未来训练？
人工智能模型的持续训练将是所有者和那些数据被用于训练模型的人越来越关注的领域。例如，所有者可能希望防止广告商将人工智能机器人偏向于有利于其客户的方向。在网上分享作品的艺术家已经让人工智能图像生成机器人复制了他们的风格，他们非常担心其原创作者的身份丧失或被盗。
3.结果的准确性怎么样？
ChatGPT最著名的缺点是其结果的不准确性。它会自信地把虚假的东西断言为真理。这被称为人工智能的“幻觉”。了解人工智能可能产生幻觉的方式和地点，可以在它产生幻觉时帮助管理它。
除此之外，人工智能所有者和开发者将有自己的一系列安全问题。这些新的担忧包括对人工智能训练模型的威胁。这些威胁可能会破坏其结果或披露有关模型如何运作的专有信息。此外，人工智能模型将不得不与API、网络、移动和其他需要安全构建的应用程序对接。
开发人员在使用人工智能工具（如人工智能安全扫描仪）管理软件开发过程中引入的风险时，将不得不提出具体问题。
4.人工智能工具是否最适合这个用例？
了解人工智能擅长什么和不擅长什么是关键。一项任务可以进一步分解为“根据学习到的规则做出决定”或“编写通过学习到的规则的内容”，人工智能在这方面会做得越好。问题偏离越远，人工智能的表现就越差。
如果工具没有捕捉到内容或者产生了不存在的幻觉，有什么保障措施？
永远不要在你的流程中引入单点故障，特别是一个可以产生幻觉的故障。依靠传统的纵深防御做法或管理风险的“瑞士奶酪”方法，在这种方法中，即使一层错过了问题，下一层也会抓住它。
审查工具结果需要什么来监督？这个问题其实不过是新瓶装旧酒：传统的日志指引分成两部分。第一部分是捕获重要事件的数据，第二部分是审核日志。在人工智能进一步成熟，并且其缺点被理解或缓解之前，人类在工作流程中仍然是不可或缺的。
越来越多的开发者正在“雇佣”ChatGPT来编写源代码。初步报告显示，ChatGPT能够用许多编程语言编写源代码，并能流利地使用所有常见的和公开讨论的语言。但由于这个测试版的训练和模型的限制，它产生的代码并不总是完美的。通常，它包含可能改变软件操作方式的业务逻辑缺陷，可能融合不同版本软件的语法错误，以及其他看似人为的问题。换句话说，ChatGPT是一个初级开发人员。当使用这个初级开发人员编写的代码时，必须考虑如何管理它。
谁将成为它的管理者，并确保代码具备功能性、可优化、高质量，而且还能达到安全标准？初级开发人员需要高级开发人员指导。每一行代码都要进行测试，有些还得进行修正。然而，初步报告显示，这种校对过程比从头开始写代码更快、更容易。
5.它是在你的代码库中注入或重新混合培训代码吗？
一个更隐蔽的威胁是，有时像GitHub Copilot这样的人工智能机器人产生的源代码会完全复制其训练数据中的代码块。这需要反剽窃工具来确保版权风险得到管理。
6.机器人从哪里获得其训练数据？
人工智能模型的优劣取决于其训练数据。如果机器人是通过陈旧或不正确的代码进行训练，它也将生产出陈旧的和不正确的结果。
7.引擎托管在哪里？
同样，分析源代码的人工智能机器人将需要把源代码带到其处理设施。要格外考虑数据在离开你折公司后，是如何被保护、使用和处理的。
12月发布的ChatGPT预示着软件开发的一个新时代。重要的是要适应这些变化，而不是被它们打倒在地。在采用这些新工具时，要明白事物变化越大，有一条原则就越是保持不变：防止安全事件发生总比被安全事件打翻在地要好。
