2024年，生成式人工智能(GenAI)在网络攻击中的作用日益凸显。攻击者使用GenAI来加速网络攻击、窃取钱财和左右公众舆论，从散布虚假信息到制作深度伪造视频，无恶不作。与此同时，信息窃取程序攻击激增58%，这表明网络生态系统日渐成熟。
彭博资讯行业研究分析师指出，随着人工智能工具的激增，包括聊天机器人和智能代理在内的全球网络安全支出预计将在未来几年内大幅上涨。这些新兴技术催生了新的风险，迫使企业加强其信息安全防护。
作为海、陆、空、天之外的“第五空间”，互联网已经嵌入人们生活的方方面面。由于其所蕴含的巨大经济与社会利益，各种形式层级的“网络攻击”屡见不鲜。与此同时，网络防御者也不断学习和掌握新技术来应对，网络攻防“矛与盾”的较量日趋激烈。
大模型微调作为当前AI应用落地的热点，正推动AI技术在各行业的深度融合。然而，一个与微调相关的巨大风险逐渐浮出水面：大模型微调不当，不仅会影响目标功能，还可能引发模型在其他领域发生紊乱，输出异常甚至有害的结果，导致整个大模型的黑化。
Gartner最新报告警告，传统的端点安全和拼凑的解决方案正在失效，企业若不能以AI驱动的一体化平台重构防线，或将在这场不对称的AI安全战争中彻底出局。
当前，生成式 AI 正在经历爆发式的发展，给人类的创作和生产力带来了全新的可能性，但也给网络安全专业人员带来了前所未有的挑战。威胁行为者利用先进的生成式AI基础设施制造出越来越复杂的零成本或低成本攻击。
