本周在台北的Computex 2019上，GPU市场领导者NVIDIA宣布推出新的EGX服务器，这是一款集高性能，低延迟AI为一体的工程系统。EGX的概念类似于NVIDIA的DGX，这是一个专为数据科学团队设计的工程系统(因此DGX，Edge = EGX)。
工程系统的模型是它是一个完整的交钥匙解决方案，提供执行该特定任务所需的所有必要硬件和软件。它实际上是即插即用的AI。
工程系统可加快部署时间
我和DGX的客户交谈时告诉我，DGX的交钥匙工程使他们能够加快部署，调整和调整数据科学所需基础设施的过程，从几周甚至几个月到一天。我希望EGX有一个类似但更大的价值主张。
DGX通常部署在数据科学家和IT专业人员可以访问的地方。EGX专为边缘位置而设计，如5G基站，仓库，工厂车间，油田以及其他没有人可以物理访问服务器的地方。拥有合适的基础设施第一天对成功至关重要
EGX软件针对AI边缘推理进行了优化
NVIDA EGX Edge Stack针对严谨的AI推理进行了优化。模型可以在任何地方进行训练，但它们在EGX上运行以解释数据。软件堆栈包括NVIDIA驱动程序，CUDA Kubernetes插件，CUDA Docker容器运行时环境，CUDA-X库，容器化AI特定框架，如NVIDIA TensorRT，TensorRT推理服务器和DeepStream。EGX是一种参考架构，其中软件堆栈被加载到一个经过认证的服务器合作伙伴身上。
在推出时，以下服务器制造商 – 事实上，所有主要制造商 – 都宣布支持EGX：Acer，ASRack，ASUS，Atos，Cisco Systems，Dell-EMC，Fujitsu，Gigabyte，HPE，浪潮，联想，QCT，曙光，SuperMicro，Tyan和Wiwynn。
Edge微服务器生态系统合作伙伴：Abaco，Adlink，Advantech，AverMedia，Cloudian，ConnectTech，Curtiss-Wright，Leetop，MIIVII.com，Musashi和WiBase。
还有数十个ISV利用EGX来处理特殊用例。这些包括AnyVision，DeepVision，IronYun和Malong。12 Sigma，Infervision，Qunatib和Subtle Medical还提供了许多针对医疗保健的产品。
NVIDIA EGX旨在提供可扩展性，因为客户可以从NVIDIA Jetson Nano GPU开始，每秒执行大约五万亿次操作(TOPS)，并且可以扩展到全机架的NVIDIA T4 GPU服务器，执行10,000 TOPS以上。低端适用于图像识别等任务，其中高端用于实时AI任务，如实时语音翻译和识别。
CPU无法满足AI的需求
在所有情况下，EGX都为GPU带来了GPU计算的优势。在最近的一次活动中，我找到了一些来自英特尔的人，我们讨论了边缘人工智能及其面临的挑战。虽然我们都认为边缘是行动的边缘，但英特尔的计划似乎围绕其当前的英特尔至强可扩展CPU和矢量神经网络指令(VNNI)扩展。我非常尊重英特尔，因为该公司率先推出了计算概念; 然而，它相信任何类型的AI，包括边缘AI，可以通过CPU而不是GPU完成，这表明它在该领域是多么无能为力。
我并没有减少CPU或英特尔的价值 – 每台计算机都需要它们 – 但许多公司已经很好地记录了摩尔定律正在快速接近其极限，并且AI的需求远远超出了CPU能够实现的目标。
边缘是动作的位置
EGX满足了边缘计算不断增长的需求。多年来，传统观念认为所有数据都将转移到云端。但是，并非所有数据都在云中进行了最佳分析。智能城市，零售，石油和天然气以及其他用例有助于分析创建数据的位置，而这通常是优势。事实上，对于像机场实时面部识别这样的应用程序，将数据发送到云端所花费的时间，进行分析并将其发送回来的速度太慢，无法在云端完成。这不仅证实了优势，而且提升了价值。在接下来的几年中，AI推理的用例将会爆炸，EGX服务器可确保企业部署优化的硬件和软件。
今天有许多GPU制造商，但是NVIDIA的优势在于能够提供“完整堆栈”以简化部署过程。AI没有“简单的按钮”，但是像NVIDIA的其他工程系统一样，EGX将正确的技术放在需要的地方，因此组织可以担心从数据中获取洞察力而不是关心如何拼凑AI拼图。