本文来自微信公众号“GoUpSec”，【作者】FunnyG。
GoUpSec点评：人工智能时代的“恶意软件”不但能感染机器，而且能感染人类，甚至连网络安全人士自身都难以免疫。
- 人类社会正面临大洪水级别的文化和精神危机，而拯救人类的关键——网络安全行业，却并未意识到自己有此责任和义务。
- 如果精通网络安全技术和风险管理的专业人士都无法逃避“人传人恶意软件”和算法的奴役，我们如何保护“网络安全”。
1992年，尼尔·斯蒂芬森在《雪崩》这部小说里，描绘了一种能从硅芯片入侵人类大脑的恶意软件。这不仅是对现代数字生活的绝妙隐喻，更像是一个预言，引发了一个特别有趣的问题：如果人类可能被自己的技术伤害，那么网络安全需要保护的就不仅是数据，还应该包括我们自己！
在数字的荒原上，我们如何自保
作为网络安全人士，我们努力定义生成式AI可以安全执行的任务，同时也在思考这些结果如何融入法律和伦理体系。这不仅是在保护我们的商业利益，更是在保护我们的文化，这是一个民族，一个国家的基石。
作为自诩“线中幽灵”、“白帽骑士”的网络安全精英人士，你不能一方面夸耀自己是AI技术安全专家，同时又对在线仇恨言论和虚假信息束手无策。
通过算法茧房和社交媒体散播虚假或仇恨信息，操控民众的行为，堪称“人类恶意软件”。近年来世界各地发生的极右翼骚乱和暴力活动就是明显的例子。这些问题存在于技术与人的交界处，必须通过技术手段来解决。网络安全的核心，就是在这些界面检测和消除威胁。
贪婪、愚蠢、懒惰的“草台班子”
在讨论如何应对AI时代的新安全威胁之前，我们不妨先回顾一下网络安全行业停滞不前的症结。与大多数信息技术和商业管理领域不同，网络安全是一个揉杂虚拟与物理，数学与人性的混沌世界，明天和意外，你不知道哪个先来；警报和误报，你不知道哪个更多。
我们已经建成了一个全球性的机器网络，大部分时间它似乎是完全符合“工具理性”的，并未主动攻击我们。网络安全重大事件的背后，通常是一些难以预见但又显而易见的问题——大多数情况下，都是混迹于各大科技公司中的愚蠢、贪婪和懒惰的“草台班子”的杰作。
这种情况在安全软件中尤为严重。PC杀毒软件，常常以“全家桶”的形象出现，诱骗或强制用户安装，比病毒还更频繁地拖慢电脑甚至崩溃。在消费者没有选择权的情况下，这种软件滋养了安全企业的贪婪，却没有提供高质量的用户体验。（事实上主流搜索引擎的堕落也与此类似）
尽管过去几十年软件设计似乎有所进步，但人性本质上没有改变。CrowdStrike今年因为推送了一个错误更新导致全球计算机大规模蓝屏死机。CrowdStrike的公关部门一再宣称这不是“安全事件”，也不是“疏忽”，而是一个“意外”。面对达美航空这种遭受重大损失的客户，CrowdStrike的律师甚至嘲笑客户的恢复工作“比同行差劲”。
事情的真相很简单，问题源自CrowdStrike的质量保障（QA）和测试流程的漏洞。是因为CrowdStrike愚蠢地认为不需要QA？还是因为贪婪而过度节省成本？还是因为某些网络安全公司的关键流程KPI不包括网络安全？
Meta公司的“草台班子”也上演了一场类似的滑稽戏，该公司的机器学习驱动的提示注入检测器，刚一推出就立刻遭到了提示注入攻击。这种攻击简单到宠物狗都能完成（只需要连续敲击几下空格键）。通常，新软件的重大缺陷大多是QA流程出现了问题，显然Meta的软件团队没有发现这个显而易见的漏洞。
通往奴役之路的AI算法
Meta和Google等科技巨头宣称他们具备大规模执行类人任务的AI能力时，却声称无法解决一个高度危险的人与技术的界面问题：社交媒体和内容分发服务的内容选择算法如何影响（操纵）人类心理来提高用户的活跃度和参与度。
这些操纵大众心智和行为的“人类恶意软件”，往往是（恶意）内容分发平台中的大语言模型驱动的机器学习的“基本功能”。我们需要监测和检测界面中的攻击，观察其引发的行为变化，在不影响合法使用的情况下进行大规模安全监控。
最大的安全威胁不是恶意软件和黑客组织，而是：大型科技公司一方面自吹自擂AI技术和安全能力无与伦比，同时又宣称没法解决在线仇恨言论、虚假信息、信息茧房、内容污染和产品成瘾问题。
是时候拆穿科技巨头（科技封建领主）的谎言了。让我们问问这些公司，他们打算如何利用他们的核心技术来解决日益严重的文化危机和反智、反社会行为？如何停止入侵和摧毁原生文化的生产和传播系统？我们也不妨问问自己，作为精通最佳网络安全技术和实践的专业人士，如果我们自己都无法识别、逃避、反抗人类恶意软件和AI算法的奴役，我们如何保护“网络安全”。
