本文来自千家网。
人工智能(AI)正在改变当今的工业格局。从企业软件到机器自动化的一切都受益于多层神经网络的能力（通过足够的数据和训练）来理解我们的世界。但随着深度学习模型规模的不断膨胀，为更复杂的自然语言处理(NLP)和其他人工智能应用打开了大门，所需的计算量也随之增加。对于边缘人工智能来说，这就是一个问题。
边缘AI趋势
在智能手机或车载车辆等便携式计算硬件上部署深度学习算法，使用户能够获得强大的图像识别功能——这只是众多用例之一。在边缘人工智能硬件上本地运行模型可以提供针对任何连接中断的恢复能力。
还有能源方面的考虑。考虑到训练具有数十亿参数的模型的能源成本以及在此过程中消耗大量冷却水，用户开始质疑在云中运行大型人工智能算法对环境的影响。但事实证明，开发人员已经成为修剪模型的专家，以减少深度学习推理的计算需求，而对结果的准确性影响很小。
这些效率措施对于实现边缘人工智能来说是个好消息。为了理解各种方法的工作原理，首先描绘深度学习的图景并考虑多层神经网络如何将输入转化为有意义的输出是很有用的。
在抽象层面上，您可以将深度神经网络视为通用函数逼近器。给定足够的参数，一切都可以用数学函数来表示。您可能见过以3D形式绘制时看起来像贝壳的公式或类似于树枝的分形。事实证明，大量的人工神经元能够描述图像并找到句子中缺失的单词。
训练这些人工智能算法涉及调整数百万个模型权重，以使人工神经元的模式对某些输入敏感，例如图像中的边缘特征。还需要为网络中的每个节点设置偏差，以确定使相应的人工神经元“放电”所需的激活强度。
如果您曾经见过覆盖着旋钮的模拟音乐合成器，这是一个很好的类比，但请将旋钮的数量乘以一百万或更多。我们的输入可以是摄像机的输入，在完成所有设置后，每当图像中看到狗时，摄像机就会打开灯。
查看表盘上的数字，我们可能会发现某些参数比其他参数更重要。这给我们带来了模型修剪的概念，这是将算法压缩到边缘人工智能硬件上的一种方法。
如今，开发人员使用各种方法使边缘AI神经网络运行速度更快、尺寸更小以适应而不影响性能。一种方法是将非常小的模型权重归零，这可以精确定位对算法行为影响很小的人工神经元。
另一个技巧是通过几次迭代重新训练修剪后的模型，这可能会导致对其他参数进行微调，以恢复任何丢失的准确性。一些经过修剪的图像识别算法可以比原始神经网络表现得更有效，这对于边缘人工智能来说是一个很好的结果。
不幸的是，大型语言模型（LLM）可能更难优化，因为重新训练步骤并不简单。但一种名为Wanda（通过权重和激活进行修剪）的新方法已在LLaMA系列LLM上进行了评估，表明考虑激活路径可以修剪50%的结构，而不会造成性能的重大损失。而且，重要的是，不需要重新运行训练来更新权重。
考虑权重的表示方式也很有帮助——例如，将值存储为8位整数而不是单精度浮点格式(FP32)可以显着节省内存。传统上，模型权重被缩放到0到1之间，但这些值仍然可以从节省内存的整数中恢复以进行处理。
使边缘人工智能应用程序的算法更加高效的另一种策略是部署所谓的教师和学生模型，学生可以从教师提供的更丰富的信息中学习。具体来说，教师模型可以为学生模型提供最可能结果的概率分布作为训练输入。
这种方法已成功用于构建DistilBERT，这是BERT的精炼版本：更小、更快、更便宜、更轻。Hugging Face研究人员使用教师和学生模型（也称为知识蒸馏）表明，可以将BERT模型的大小减少40%，同时保留97%的语言理解能力，速度提高60%。
要理解为什么这如此重要，值得注意的是BERT是目前最有用的NLP模型之一。BERT可用于文本编码，以从其他数据中检索相似的段落。它可以总结大量的文本信息并提供问题的答案。
考虑到边缘人工智能，轻量级NLP模型可以在本地处理数据，以保护隐私并保护客户可能不希望发送到云端的敏感信息。例如，公司可以使用DistilBERT构建自己专有的语义搜索引擎来导航业务数据，而无需将任何数据发送给Google。
人工智能成功案例
云中人工智能的成功故事启发了各种用例。而且，随着开发人员在将算法性能压缩到更小的占用空间方面变得更加熟练，我们预计这些优势也将转化为边缘人工智能应用程序。
此外，用户可以依靠越来越多的工具来优化他们的机器学习模型。谷歌的TensorFlow模型优化工具包支持将模型部署到对处理、内存、功耗、网络使用和模型存储空间有限制的边缘设备。
还有其他选项，例如可以为嵌入式系统提供高效深度学习的模型优化SDK。供应商包括瑞典深度科技公司Embedl，该公司最近筹集了45 MSEK（410万美元）来扩大其业务。
“Embedl的解决方案在汽车领域开发自动驾驶系统(AD)和高级驾驶辅助系统(ADAS)时提供了显着的性能增强，”该公司在其网站上写道。“它还将使人工智能能够融入到硬件功能较弱的消费产品中。”
该公司表示，客户可以使用该SDK创建可在电池供电设备上运行的深度学习算法，这标志着边缘人工智能的另一个趋势。
