百度智能边缘集成EasyEdge，快速实现边缘AI模型推断

4lqedz

在人工智能行业，深度学习表率了当下较为火热的设备学习技术，深受学术界与产业界注重。因为深度学习模型的高准确率与高靠谱性，深度学习技术已在计算机视觉、语音识别与自然语言处理行业取得了广泛的成功应用。深度学习模型亦如雨后春笋般涌现，并且越来越多的模型被开源。在最初期，受限于深度学习模型针对算力的需要，模型大大都是”云端训练、云端推理“。然而”云端推理“模式需要将海量的数据（如图像和视频数据）经过高延迟、带宽波动的广域网从边缘端传输至云端。在离线或低延时需求的场景下，没法满足实质需要。随着AI芯片的兴起，边缘算力的逐步加强，将模型推理下放到边缘侧已然作为当前的一大主流趋势。虽然算力支持在边缘进行模型推断，然则模型的运用繁杂度与门槛依然很高，为了调用模型需要编写许多代码，为了适配端侧区别的芯片与操作系统，还需要对原始模型持续进行修改、优化、调参等操作。为此，非常多科研人员都在科研怎样降低模型的运用门槛， 让模型的应用者专注于业务，将模型做成服务同样按需调用，实现边缘侧的model as a service。百度智能边缘+EasyEdge集成就很好的处理了这个问题。01EasyEdge是什么？EasyEdge是百度基于Paddle Mobile开发的端计算模型生成平台，能够将原始深度学习模型快速生成适配于边缘节点和智能终端的端侧模型。EasyEdge支持模型信息如下：支持的模型框架包含：Caffe (ssd)、PyTorch (0.4.0) 、TensorFlow (1.13)、PaddlePaddle (1.4.1)支持的模型网络包含：VGG16、InceptionV3/V4、MobilenetV1、MobilenetV1-SSD、RestnetV1等13种支持的AI加速芯片包含：通用ARM芯片、通用x86芯片、英伟达GPU、高通Snapdragon GPU/DSP、英特尔Movidius VPU、华为HiSilicon NPU、苹果A-Bionic02BIE是什么？百度智能边缘（Baidu IntelliEdge）旨在将云计算能力拓展至用户现场，供给能够临时离线、低延时的计算服务，包含设备接入、数据处理、数据上报、函数计算、AI 推断等功能。BIE整体包含边缘本地运行包和云端管理套件两部分：本地运行包：本地运行包包括百度开放边缘框架BAETYL，以及基于BAETYL框架开放的边缘应用，实现将云计算能力延伸至边缘，供给离线自治、低延时的计算服务。云端管理套件：重点负责边缘设备节点的管理，包括设备节点的监控、注册管理、应用的编排与升级等功能。除此之外，云端套件还负责与百度智能云的其他服务进行集成对接，包含函数计算CFC，流式计算BSC，端侧模型生成框架EasyEdge等。实现”云管理、边运行、边云一体“的整体处理方法。03BIE为何要与EasyEdge集成?BIE与EasyEdge集成，是百度智能云践行“ABC Anywhere”战略的重要一步。EasyEdge为BIE供给了边缘模型适配与模型加速的能力，让众多的模型作为能够运行在BIE边缘框架上的一种服务，实现Model as a Service。经过BIE与EasyEdge的集成，为用户供给了“模型适配——>模型下发——>模型运行”的全链路服务。尝试此功能倘若要尝试此项功能，能够登录智能云掌控台，详细操作指南参考：https://cloud.baidu.com/doc/BIE/s/Tk2n4o50o04BIE与EasyEdge集成的效果在MobileNet-SSD-Caffe物体检测模型以服务形式运行在边缘节点设备上以后，咱们能够经过两种方式进行检验，一种是浏览器校验，还有一种是API校验。浏览器校验经过浏览器打开物体检测服务的掌控台，拜访位置为：http://[边缘核心设备IP位置]:8088/ 。倘若能够看到如下界面，则暗示服务正常运行。接下来能够上传样例照片校验模型效果，以下为几个样例结果：API校验MobileNet-SSD-Caffe 本身做为一个容器应用运行在边缘核心其中，它同期对外供给API拜访接口，支持被其他应用调用，并返回物体检测结果。下面经过python代码调用接口进行示例说明：·       拷贝下面的python代码保留至本地，命名为test_MobileNet_SSD_api.pyimport requestswith open(./1.jpg, rb) as f: img = f.read()# params is GET params, data is POST Bodyresult = requests.post(http://[边缘核心设备IP位置]:8088/, params={threshold: 0.1},data=img).json()print result·       下载照片 1.jpg保留至与test_MobileNet_SSD_api.py同目录下。照片1·       执行test_MobileNet_SSD_api.pypython test_MobileNet_SSD_api.py·       查看接口返回结果为如下JSON{    "error_code": 0,    "cost_ms": 179,    "results":   [        {            "index": 8,            "confidence": 0.9999642372131348,            "y2": 0.9531263113021851,            "label": "cat",            "y1": 0.0014175414107739925,            "x2": 0.9970248937606812,            "x1": 0.0014758188044652343        }    ]}经过以上返回结果，咱们能够晓得该物体检测模型检测到的物体是cat，可信度为0.999964≈1。点击阅读原文，查看仔细的运用教程。本文作者徐伟，百度智能云高级制品经理。点击这儿阅读原文

qzmjef

感谢楼主分享，祝愿外链论坛越办越好！

j8typz

说得好啊！我在外链论坛打滚这么多年，所谓阅人无数，就算没有见过猪走路，也总明白猪肉是啥味道的。

b1gc8v

你的见解真是独到，让我受益匪浅。