3777.com

您的位置:3777.com > 业界动态

轻量级流式计算框架creek助力百度智能边缘BIE实现边缘流式计算

发布时间:2020-01-11 10:17:06  来源:邯郸科技资讯    采编:佚名  背景:

  前言

  一直以来,对于边缘流式计算的需求就没有停止过,但是受限于边缘节点的计算能力,边缘流式计算一直面临内存压力、磁盘压力、作业管理压力等诸多挑战。

  2019年11月29日,在Flink Forward Asia 2019大会上,百度正式对外发布了“基于Apache Flink的边缘流式计算Creek”。creek很好的解决资源受限的问题,它可以将流式作业内存消耗降低到10M左右,比传统的流式作业下降了2个数量级的资源消耗,使得边缘设备也可以轻松跑流式作业。这样,在不增加边缘节点成本的前提下,边缘节点增加流式计算的能力,使得边缘节点能够支撑更多、更复杂的业务场景。

  百度智能边缘BIE也同步实现了与Creek的产品化集成,Creek通过与BIE的集成,能够实现流式计算任务”云端统一定义,统一下发“,让流式计算能力真正延伸至各个边缘节点。

  边缘流式计算典型应用场景

  下面罗列在BIE当中使用边缘流式计算的两个典型场景:

  数据分析师的取数场景

  在数据分析场景下,数据分析师经常使用「10分钟平均值」或「15分钟平均值」作为样本数据进行分析,而不会直接使用原始采集数据。如果云平台当中只有原始采集数据,数据分析师通常使用以下几种方式获取「10分钟平均值」:

  导出原始数据,通过数据预处理工具获取10分钟平均值

  云平台增加流式计算任务,计算10分钟平均值并实时保存在数据库

  通过大数据平台对历史数据实行离线任务,计算历史数据的10分钟平均值并保存在数据库

  上述的几种方案能够让数据分析师拿到10分钟平均值,但是成本都很高,也不方便。通过边缘流式计算可以很好的解决上述问题,边缘节点在边缘侧通过流式计算得到10分钟平均值,然后上报至云端iothub,经由规则引擎将10min数据转存到数据库,可以降低数据分析师的取数难度。

  运维人员的实时监控场景

  在物联网场景下,设备测量数据因为各种因素(网络因素、设备自身精度因素)经常会出现抖动情况,如果对设备的实时采集值配置阈值告警,经常会出现误告警,导致用户需要处理大量无用告警,逐渐用户对告警的准确性失去信心,阈值告警形同虚设。

  针对这种场景,用户可以借助流式计算的能力来降低数据抖动带来的偏差,常见的方案有:

  按平均值告警:通过流式计算获取10分钟平均值、10分钟最大值、10分钟最小值、10分钟计算样本数,然后设定阈值规则,比如“10分钟平均值>阈值 且 10分钟计算样本数>100”

  按持续时间告警:通过流式计算找出实时采集值一直大于指定阈值且持续时间很长的设备,比如"设备温度>100℃ 且 持续时长>5分钟"

  在网络不稳定的场景下,上述两种方案如果通过云端流式计算来实现,最终得到的计算值准确度不高,比如当设备出现5分钟无连接的时候,云端再去计算10分钟平均值,计算的结果并不准确。而边缘侧是内网环境,网络异常的概率大大降低。在边缘侧将统计值计算好后再上报云端,可以提升流式计算统计结果的准确性。

  边缘流式计算为客户带来的价值

  降低成本,包括流量成本、存储成本、云端流式计算资源成本。

  在弱网络环境下,提升流式计算结果的准确性。

  尝试此项功能

  如果要尝试在边缘节点上部署流式计算任务,可以登录百度智能云控制台,具体操作指南参考:https://cloud.baidu.com/doc/BIE/s/Ok43i486z

  BIE与Creek集成的效果

      以实时监控场景为例,需要通过流式计算获得temperature的统计值,包括:10分钟平均值、10分钟最大值、10分钟最小值、10分钟计算样本数。大家可以搭建以下模拟实验场景来进行验证:

  使用模拟器以每秒1条数据的频率,不间断往边缘hub发送模拟数据

  模拟数据的格式为:{"humidity":6.3426914,"temperature":11.457714,"timestamp":1576207523}

  云端配置边缘流式计算任务,计算temperature的统计值,包括:

  10分钟平均值

  10分钟最大值

  10分钟最小值

  10分钟计算样本数

  下发边缘流式计算任务至边缘核心设备

  在边缘侧验证流式计算结果

  前面1~4不可以参考操作指南(点击原文查看)实行,现在大家一起来看一下边缘侧运行流式计算的效果。

  启动mqtt数据订阅工具MQTTBox,订阅testtopic/update和testtopic/streamdata这两个topic:

  如下图所示:

  testtopic/update:左侧部分数据,为数据模拟器产生的模拟数据,1秒1条记录

  testtopic/streamdata:右侧部分数据,为流式计算结果,包含最大值、最小值、平均值、计算样本数。因为是1分钟统计结果,所以计算样本数刚好是60,与实际相符。

  可以在BIE云管套件查看流式计算任务的资源使用情况,发现内存占用在12M左右,相比边缘流式计算带来的价值,这点资源使用率上升,是完全值得的。

  感兴趣的朋友可以在边缘计算框架baetyl上部署一个flink,然后实行相同的作业任务,查看flink与creek的资源消耗对比。

  点击阅读原文,查看详细的使用教程。教程url:https://cloud.baidu.com/doc/BIE/s/Ok43i486z

  ==============关于BIE ===================

  百度智能边缘(Baidu IntelliEdge)旨在将云计算能力拓展至用户现场,提供可以临时离线、低延时的计算服务,包括设备接入、数据处理、数据上报、流式计算、函数计算、AI 推断等功能。

  BIE整体包括边缘本地运行包和云端管理套件两部分:

  本地运行包:本地运行包包含百度开放边缘框架baetyl,以及基于baetyl框架开放的边缘应用,实现将云计算能力延伸至边缘,提供离线自治、低延时的计算服务。

  云端管理套件:主要负责边缘设备节点的管理,包含设备节点的监控、注册管理、应用的编排与升级等功能。除此之外,云端套件还负责与百度智能云的其他服务进行集成对接,包括函数计算CFC,流式计算BSC,端侧模型生成框架EasyEdge等。实现”云管理、边运行、边云一体“的整体解决方案。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经3777.com证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性3777.com不作任何保证或承诺,并请自行核实相关内容。3777.com不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系大家,3777.com将会在24小时内处理完毕。

  声明:本文仅为传递更多网络信息,不代表邯郸科技资讯观点和意见,仅供参考了解,更不能作为投资使用依据。


返回3777.com 本文来源:邯郸科技资讯

本文评论
特立独行:HUAWEI公布Mate 20海报 10月16日见
(原标题:HUAWEIMate 20海报出炉:前卫独特时尚自我) HUAWEIMa
日期:10-02
相芯科技虚拟主播助力京东数读双11的背后
由美国漫威影业企业花费10年时间打造的影片《复仇者联
日期:12-18
从营销痛点切入,「小竹通」助力培训机构搭建会员营销体系,实现高效增长
——OMO营销模式,或是线下培训机构的一波新
日期:01-03
马斯克:工作岗位被机器人蚕食 全民基本收入成为必需
马斯克是在回答一名Twitter用户有关全民基本收入的问
日期:10-02
福利继续送!五款飞行堡垒7优惠不断,惊喜连连!
又是一年“双十一”,低价狂欢嗨不停!华硕品
日期:12-19
雷军:小米硬件综合净利率永远不超5%!
雷军提出,小米6X和竞品有着几乎相同的配置,但为什么能做
日期:10-02
HUAWEI新一代麒麟处理器将会有两个版本,果然不走寻常路
8月24日消息,据悉,HUAWEI将于9月6日在2019德国IFA上发布华
日期:12-19
印度5G试验排除HUAWEI中兴?这次真和联想无关
中兴被制裁尚不足一季,剧痛未央,3777.com通信设备制造商又罹
日期:10-02
大屏更有沉浸感 爱普生CH-TW610投影机体验
投影机作为新兴的家居显示设备已经越来越被大家所接受
日期:12-19
华大基因与HUAWEI云的“智慧碰撞”,让测序效率稳步提升
支付几百元将你的唾液邮寄,你的基因组序列就会得到分析
日期:01-03
“一分购”还不够!李楠带着魅族16燃爆苏宁818
自8月8日发布以来,魅族16th 系列迅速蹿红,已成为今夏手
日期:10-02
GOOGLECEO点赞联想Smart Display,应用GOOGLE助手的最佳方式
今日,美国知名科技媒体《Android Central》发布了联想S
日期:10-02
 

XML 地图 | Sitemap 地图