本文来自微信公众号“安在”，作者/绵总。
当下，机器学习（ML）几乎是所有IT部门的常用术语。尽管ML经常被用来解释大数据，以提高业务效率和流程，并辅助预测，但它在其他应用中也被证明是无价的，其中包括网络安全。
本文将分享ML在网络安全中变得如此重要的原因，分享这一技术应用的一些挑战，以及机器学习所带来的未来。
01
为什么机器学习对网络安全至关重要？
如今，许多组织拥有越来越多的物联网（IoT）设备，这些设备并非全部都由IT所知或管理；在多云和混合云的环境下，组织的数据和应用程序也都不是在本地运行的；远程办公广泛接受，用户所处环境不在是办公室。这些网络安全形势使机器学习的作用变得重要。
此前，企业通常依赖基于签名的恶意软件检测、网络流量的静态防火墙规则和访问控制列表（ACL）来定义安全策略。在一个设备、环境越来越多的世界里，检测潜在安全风险的旧方法无法跟上当前逐渐扩大的内网规模、设备范围和复杂性的步伐。
机器学习指的是以从大量数据中自动学习的训练模型，从学习中，系统可以识别趋势、发现异常、提出建议并最终执行操作。为了应对组织面临的所有新的安全挑战，需要利用机器学习来弥补人力的缺失。在面对日益增多的网络安全挑战时，机器学习可以做到包括扩大安全解决方案、检测未知攻击、检测高级攻击等等。特别是高级恶意软件，这种攻击可以通过改变形式的方式逃避检测，使用传统的、基于签名的安全检测手段在面对此类攻击时会非常困难，而ML却被证明是对抗它的最佳解决方案。
02
在网络安全领域里，机器学习有何不同？
机器学习被广泛理解并应用于许多领域，其中最受欢迎的是用于识别的图像处理和自然语言处理（NLP），以帮助识别人或文本的意思。
网络安全在某些方面不同于机器学习在其他领域中的用例。在网络安全中利用机器学习有其自身的挑战和需求。解下来，本文将讨论M应用于网络安全的三个独特挑战，以及网络安全中三个常见但更严峻的挑战。
03
将ML应用于网络安全的三大挑战
挑战1：细粒度要求更高。例如，如果只是在做图像处理，系统将狗误认为猫，这可能会很带来一定影响，但不会造成严重的后果。然而，如果机器学习系统将欺诈数据包误认为是合法数据包，从而导致其对医院及医疗设施展开攻击，就可以会带来严重的后果。
每天，组织都会有大量数据包通过防火墙。即使只有0.1%的数据被机器学习误分类，也会对业务造成影响，实际上，机器学习的细粒度会导致大量正常流量被阻止，那么业务将受到严重影响。换句话说，在机器学习的早期，一些组织会担心模型不会像人力那样准确。它需要时间，也需要大量的数据来训练机器学习模型，使其达到与真正熟练的人类所具有的相同的精度水平。然而，真正熟练的人类是当今IT领域最稀缺的资源之一，而训练成熟的ML可以帮助组织有效地扩大网络安全解决方案的规模。此外，ML还可以帮助组织检测人类难以检测的未知攻击，因为ML可以建立基线行为并检测任何偏离基线的异常。
挑战2：获取大量训练数据，尤其是标记数据。机器学习需要大量数据才能使模型和预测更加准确。但是，获取恶意软件样本比在图像处理和NLP中获取数据要困难得多。另外，因为许多安全风险数据是敏感的，存在隐私问题的，所以机器学习很难获得足够多的数据样本进行学习。
挑战3：真值。与图像不同，网络安全的真值可能并不总是可用的或固定的、网络安全形势一直在变化，没有一个恶意软件数据库可以声称覆盖世界上所有的恶意软件，而且随时都会产生更多的恶意软件。为了确保ML的准确性，我们应该比较的真值是什么？
04
ML在网络安全领域所面临的三大挑战
在所有领域，ML都会面临挑战，但在网络安全方面，ML所面临的挑战更为严峻。
挑战1：机器学习模型的可解释性。全面了解机器学习的结果对组织采取适当行动的能力至关重要。
挑战2：人才稀缺。为了使ML在任何领域都有效，必须将领域知识与ML专业知识相结合。无论是ML还是安全，都缺乏人才，很难找到既懂ML又懂安全的专家。因此，ML数据科学家与安全研究人员之间的合作就显得格外重要，即使他们不会说相同的语言，使用不同的方法，拥有不同的思维方式和方法。但对他们来说，学会彼此合作是非常重要的，因为这两个小组之间的合作是将ML成功应用于网络安全的关键。
挑战3：ML安全。由于网络安全在每一项业务中都扮演着至关重要的角色，因此更重要的是确保在网络安全中应用的ML本身是安全的。学术界已经在这方面进行了研究，也感谢那些为保护ML模型和数据的专家所做出的贡献
机器学习的目标是提高安全的效率和可扩展性，以帮助节省劳动力和防止未知攻击。使用人工很难扩展到数十亿台设备，但机器学习却可以很容易的做到这一点。这是组织在不断升级的威胁环境中真正需要保护自己所具备的规模。ML对于检测许多关键基础设施中的未知攻击也至关重要，因为关基涉及民生，涉及社会及政府的稳定，不容有失。
05
机器学习如何实现网络安全的未来
机器学习以多种不同方式支持现代网络安全解决方案。就个人而言，每一项都是有价值的，它们共同改变了在动态威胁环境中保持强大安全态势的游戏规则。
识别和分析：随着新设备一直连接到企业网络，IT组织很难了解所有的设备。机器学习可用于识别和配置网络上的设备，并确定给定设备的不同功能和行为。
自动异常检测：机器学习可以快速识别已知的不良行为，在第一次分析设备并了解常规活动之后，机器学习就会知道什么是正常的，什么是不正常的。
0DAY检测：在传统安全系统中，必须至少发现一次不良行为，才能将其识别为不良行为。这就是传统的、基于签名的恶意软件检测方式。机器学习可以智能地识别未知形式的恶意软件和攻击，以帮助保护组织免受潜在的0DAY攻击。
大规模洞察：由于数据和应用程序分布在许多不同的位置，因此单凭人力是不可能识别大量的设备和数据。机器学习可以做人类做不到的事情，实现大规模洞察的自动化。
政策建议：建立安全政策的过程通常是一项非常人工的工作。通过了解设备和正常行为，机器学习可以帮助为安全设备（包括防火墙）提供策略建议。机器学习不必为不同的设备和网络段手动制造不同的冲突访问，而是可以自动化的提出具体的建议。
06
结语
随着越来越多的设备的上线和威胁的产生，安全所需的人力资源极度匮乏，只有机器学习才能对复杂的情况和场景进行大规模分类，使组织能够应对当前和未来几年的网络安全挑战。
