2020年开始，国家提出加快新基建进度，作为其中重要的一环：人工智能的体量将会进一步增长。当前技术结构下，人工智能（AI）的处理大多通过云中心完成。
AI处理以深度学习模型训练为主，这需要大量的计算能力。而在过去几年里，计算的需求量增加了数十万倍，其中图形处理单元（GPU）分散了大部分计算压力。
AI推理是基于大量推理训练之后实现的，计算强度相对较低，对算力需求不大。过去，与训练一样，推理计算也主要在云中心进行。然而，AI应用的多样化，基于云的集中式训练和推理机制受到质疑。
什么是边缘AI？
边缘AI已将AI转移到真正需要的地方：设备中，而不是云中的服务器。
任何基于机器学习的解决方案，两个主要阶段是训练和推理，这是机器学习的基本原则。
第一阶段是训练，在这个阶段中，向机器提供大量的已知数据，让机器“明白”它应该做什么。利用这些数据，算法可以输出一个包含其学习结果的"模型"。这个阶段需要很高的算力，通常由云计算完成。
训练阶段的"已知数据"被称为标记数据。这意味着每一个数据（声音、图像等）都有一个标签，描述它的含义。推理时将新数据中符合的内容挑出来，分门别类即可。
第二个阶段是推理，推理是将学到的模型与新数据结合起来，推断它应该识别什么。一旦训练完成，模型只需要小部分算力来执行推理阶段。因为推理只涉及少量新数据的计算，用于推理的模型也是"固定"的（不需要再持续训练），并针对目标环境进行了仔细的优化。
最终的结果是，它可以直接在嵌入式设备上运行：也就是边缘设备。这样可以为设备提供决策权，从而使其自主运作，这就是边缘AI。
为什么我们需要边缘AI？
今天的边缘AI侧重于将AI推理转移到边缘设备上，从而减少数据的上传与扩散。当然，将AI应用迁移到边缘设备的原因有很多，这取决于应用。在评估云计算和边缘计算时，必须考虑隐私、安全、成本、延时和带宽。随着越来越多的边缘计算芯片厂家提供了高算力的产品，也促进了边缘AI计算的发展。
联合学习和基于区块链的分散架构也是AI计算向边缘化过渡的一部分，有些训练也可能向边缘化发展。根据AI应用和设备类别，有几种硬件选择来执行边缘AI计算。这些选择包括CPU、GPU、ASIC、FPGA和SoC加速器。
边缘AI的硬件挑战：芯片
像许多新概念一样，边缘AI技术其实已经存在了一段时间：机器学习算法在计算机和智能手机中很常见，它们在这些设备中运行良好。
如今，人们将嵌入式设备与算法结合起来，形成一个很有意义的解决方案，这要归功于：为AI提供硬件加速的高算力模块（GPU和ASIC）。
通过算力模块，配合不断改进的AI模型，我们不仅可以在超级计算机中整合AI解决方案，还可以在汽车、智能手机、网页、Wi-Fi路由器，甚至家庭安全系统中整合AI。
如何将推理功能嵌入设备？
首先我们要选对适合的硬件，目前有三种硬件类型可以实现边缘AI的运行：
CPU：在智能手机和嵌入式设备上，任何最新的CPU都有能力处理。它可能不是边缘AI推理最快或最专业的解决方案，但它是最好实现的。
GPU：它们通常确实能提供高吞吐量，从而提供出色的推理频率和较低的延时。它还可以减少CPU的工作负荷，是目前比较主流的选择。
利用GPU的处理能力和并行化能力，AI就像一个由数百个神经元的虚拟大脑，它看起来非常复杂，但实际上是由大量的简单元素组成的。这正好与GPU的特性不谋而合，简单的独立操作被应用于屏幕上的每一个点。
大多数机器学习框架（TensorFlow、Caffe、AML等）都是为了适用现有的硬件，比如NVIDIA Jetson系列。
AI定制硬件：这是一个快速增长的类型，如谷歌之前发布的Edge TPU，英特尔、微软和亚马逊也在开发自己的解决方案。通过定制硬件为AI推理匹配最有效的解决方案，但昂贵的成本和设计压力则是当前的弊端。
选择边缘AI进行创新的5个理由
1）离线可用性：这可能是最明显的理由。如果需要程序在任何条件的连接状态下都可用，那么AI推理必须放在本地设备上。
由于不稳定的远程数据连接，DDoS攻击，或者设备在地下室使用，连接就会中断！网络不稳定对于云方案是一个巨大的挑战。然而，如果本地设备可以自己处理数据，就不需要担心这些问题。
2）降低云服务成本：云服务非常方便，具有高扩展性和可用性，但它也有比较显著和持续的成本。随着越来越多的人使用云计算，这种成本会增加。这些成本将持续到产品的整个生命周期。然而，如果可以采用本地设备进行AI推理，那么你就可以节约这部分成本。
3）降低流量成本：带宽和移动流量的成本也很昂贵。对于视频监控推理而言，一个高清摄像头每天就能产生50G甚至更多的视频数据，一个项目可能有成百上千个摄像头，每天按T计算的云服务流量成本是笔不小的费用。
而使用边缘AI推理，在本地设备上可以将体积庞大的视频文件转换为几kB的数据。比如道路监控，云计算需要将现场视频持续上传分析，而边缘设备只需要回传一句话：“这条路上现在没有人”。
4）处理敏感信息：如果敏感信息可以在本地被收集和处理，我们还需要把信息发到几百公里外的云中心去么？虽然我们不应该担心云中心的数据安全问题，但本地处理确实能让人更放心。
5）响应时间短：在本地收集和处理数据可以缩短响应时间，规避网络延迟的风险，从而改善用户体验，只要设备能足够快地处理数据。比如工业制造时，需要毫秒级的推理判断，来决定是否紧急停止生产线来避免事故的发生。
边缘AI带来新的机会
边缘AI的高可用性、数据安全性、降低延迟和成本，都是未来AI系统的关键优势。无论是公司还是个人，现在都是采取行动的好时机，越来越多的科技公司开始布局边缘计算。
虽然有些人认为它还不成熟，但该技术正在融合发展，不断进行实验和概念验证，在全球范围内提高竞争优势。
随着国家对新基建的推动，AI和IoT（物联网）的指数级增长，边缘AI的时代即将到来。
