阿里云实时计算Flink版IoT行业解决方案,阿里云flink实时计算-ESG跨境

阿里云实时计算Flink版IoT行业解决方案,阿里云flink实时计算

阿里云实时计算Flink版IoT行业解决方案

行业挑战

物联网(Internet of Things，以下简写为IoT)是互联网、传统电信网等资讯的承载体，能让所有具备独立功能的普通物体实现互联互通的网络。物联网将现实世界数位化，应用范围十分广泛。物联网拉近分散的资讯，统整物与物的数位信息，主要应用领域包括以下方面：运输和物流领域、健康医疗领域、智慧环境(家庭、办公、工厂)领域、个人和社会领域等，具有十分广阔的市场应用前景。物联网将智能感知、识别技术、网络通信与普适计算等技术融合起来，被认为是继计算机、互联网、智能手机之后世界信息产业发展的下一个风口。

据IDC估计，到2020年物联网将在全球范围内产生1.46万亿美元的价值；而Chinaidr预测，届时中国的物联网市场规模将超过1.8万亿人民币。人们普遍认为，中国将成为物联网行业的主要参与者。得益于庞大的人口基数和低廉的芯片制造成本，中国将在推动全球物联网市场增长上发挥重要的作用。

目前IoT行业在如下领域使用日趋广泛和深入：

1.工业领域

工业领域是目前物联网项目最多的应用领域，工业领域所涵盖的能够联网的事物最丰富，比如印刷设备、车间机械、矿井与厂房等。

2.医疗领域

目前物联网技术在医疗行业中的应用包括人员管理智能化、医疗过程智能化、供应链管理智能化、医疗废弃物管理智能化以及健康管理智能化。最典型的应用就是可穿戴设备，这种帮助用户实现个性化的自我健康管理的设备已经成为很多注重健康人士的新宠。

3.智能交通与车联网

当前，物联网应用于智能交通已见雏形，并具有极强的发展潜力。物联网在智能交通的应用包括实时监控系统、自动收费系统、智能停车系统和实时车辆跟踪系统，可以自动检测并报告公路、桥梁的健康状况，并能帮助交通运输业缓解能耗、污染以及拥堵等问题。

4.智能家居

物联网解决了智能家居中设备联网的问题。国内已经有很多不同领域的厂商开始涉足智能家居行业，包括互联网科技厂商、传统家电厂商以及互联网巨头。智能电视、智能音箱等智能硬件也可以当做智能家居的控制中心和枢纽，“人工智能+物联网”将掀起改变生活方式的狂潮。

5.智慧物流

智慧物流是把条形码、射频识别技术、传感器、全球定位系统等物联网技术，广泛应用于物流业运输、仓库、配快递、包装、装卸等环节。智慧物流的崛起离不开电商爆发的催化，更离不开物联网技术的加持。

IoT时代的数据特征

物联网传感器不断从大量连接的各种各样的设备接收数据。随着连接设备数量的增加，物联网系统需要可扩展以适应数据流入。分析系统处理这些数据并提供有价值的分析报告，这些报告将给企业带来竞争优势。IoT大数据来源于物联网设备传感器产生的数据，与传统大数据领域的数据特征不完全一样，IoT大数据具有“6V”特点，如下所示：

容量（Volume）：数据量是判断数据集为大数据、传统的大规模或超大规模数据的一个决定性因素，使用物联网设备产生的数据量比以前要多得多，明显符合这一特点。**

速度（Velocity）：物联网大数据产生和处理速率要足够高，以支持实时大数据的可用性。鉴于这种高数据率，也证明了需要先进的工具和技术分析才能有效地运作。**

多样性（Variety）：一般来说，大数据有不同的形式和类型。这可能包括结构化的、半结构化的和非结构化的数据。各种各样的数据类型可以通过物联网产生，如文本、音频、视频、传感器数据等等。

真实性（Veracity）：真实性是指质量、一致性和数据的可信性，有真实性的数据才能进行准确的分析。这一点对于物联网来说尤其重要，特别是那些群体感知数据。**

易变性（Variability）：这个属性是指数据流的速率不同。由于物联网应用的性质，不同的数据生成组件可能会有不一致的数据流。此外，在特定时间，一个数据源的数据加载速率可能不同。例如，利用物联网传感器的停车服务应用在高峰期的数据加载会达到峰值。**

价值（Value）：价值是指大数据转化成为有用的信息和内容，为组织带来竞争优势。数据的价值的高度不仅仅取决于对数据的处理过程或服务，还取决于对待数据的方式。

针对以上IoT的数据特征，IoT相关大数据以及AI分析工具需要解决如下数据计算问题：

越来越多的实时数据需求：目前需要更多的实时数据来支持IoT设备分析、操控、管理。比如需要IoT设备数据进行实时化分析进而直接反馈到工业车床进行加工参数调整。

越来越多的半结构化、非结构化数据分析需求：越来越多的IoT设备产生半结构化、甚至非结构化数据，包括日志、图片、音频、视频。这些都需要大数据以及AI相关分析工具进行分析处理。**

越来越多的智能化数据处理需求：大量图片、音频、视频场景，需要使用AI增强的实时化处理工具进行分析处理，而非传统的数据库和大数据工具。**

由数据分析人工决策到数据计算反向控制生产链路：IoT的大数据分析从产生报表进而交给人工决策，逐步过渡到数据计算结果直接反向控制生产链路，节省人力决策的成本。

解决方案

阿里云实时计算Flink版是阿里云打造的基于Apache Flink的企业级系列产品，其底层技术引擎由Flink创始团队提供的商业化产品Ververica Platform所驱动。针对IoT时代下大数据分析的需求，阿里云实时计算Flink版结合阿里云整个IaaS以及PaaS的基础设施，能够为IoT客户解决如下问题：

数据实时化处理：阿里云实时计算Flink版具备低延迟、高吞吐、一致性等特点，非常适合IoT的实时化数据清洗、分析、处理的计算需求。

越来越多的半结构化、非结构化数据分析需求：具备结构化数据处理(分析、统计类计算处理)，提供包括SQL、TableAPI、PyFlink等高效API解决数据分析难题；同时实时计算Flink版提供包括DataStream的Flink底层API，针对非结构化的音频、视频等内容也能够从容分析。

越来越多的智能化数据处理需求：提供流式数据底层框架，基于Flink开源API，用户可以自由组合图像、音频、视频处理算法包，提供灵活的智能化处理数据需求。

成功案例

协鑫光伏

引入阿里云飞天大数据平台以来，光伏生产良品率已经提升了1个百分点，节省成本数千万。

客户简介

协鑫光伏坐落在环境优美的苏州工业园区，是全球领先的光伏材料制造商，硅片产品占国内流通硅片的70%，处于国内同行业龙头地位。在技术研发、品质控制、自动化升级等方面也都处于较高水平。

通过多年对生产流程的优化，协鑫的生产效率和产品品质始终保持着行业领先，然而，他们渐渐感到如果继续保持传统的方式，可优化的空间将越来越小。对于追求卓越的协鑫人来说，生产品质提升的最后一公里要怎么走，这无疑是一个巨大的难题。苏州协鑫光伏总经理曾表示：“未来苏州协鑫的继续突破还是要靠新技术和新产品。”

阿里云实时计算Flink版解决方案

智能制造的兴起，将大数据分析引入到制造革命中。通过对生产数据的采集并上传云端，能够进行数据实时和长期分析，并对生产过程进行监控，分析生产流程中可优化的部分；监控影响产品质量的环节，对产品质量进行量化分析和提升；对设备情况进行预测，优化备本备件。

2016年协鑫光伏正式与阿里云合作，希望通过云计算、大数据等新一代信息技术推动内部管理升级、进一步提高市场竞争力。此次合作的主要目标是透明化生产、数据化管理以及良品率提升。具体包括：

低成本长期保存协鑫生产过程所有数据；

通过大数据分析，建立良品率预测模型；

通过大数据分析，建立关键参数监控模型，对生产过程监控和报警；

通过阿里云BI系统，对协鑫生产数据做多维度统计分析；

通过阿里云大屏技术，建立车间和事业部生产大屏看板等多方面内容。

整体技术框架可以分为三大部分，车间源数据、大数据存储分析区，以及业务区。具体包括数据上云、关键参数

监控模型、关键及全量参数标准曲线模型、生产过程监控报警、良品率预测、备件损耗分析、大屏看板、BI分析。

客户收益

经过项目一期的实施，每年节省成本数千万。

通过阿里云的大数据分析算法，协鑫光伏可以对生产过程中采集到的全部变量进行分析，找出与良品率最为相关的关键变量。“根据这些关键变量为协鑫光伏搭建生产的参数监控模型，在生产过程中对这些变量进行分析处理，一旦变量超出模型范围，协鑫光伏的监测系统就会及时预警。”

协鑫光伏作为追求卓越的制造业企业代表，为同类企业转型升级摸索出了一条道路。大数据作为企业的重要资产，借助于云计算等新技术，可以实现企业的智能改造和升级，完成提升生产效率和产品品质的最后一公里。

协鑫与阿里云合作的模式可以直接复制，利用制造业企业的生产经验，和云计算、大数据分析提供的稳定高效的大数据存储、分析能力，打造企业级数据分析平台。

上海鸥新

客户简介

上海鸥新软件有限公司专注于室内定位技术和客流统计与分析的研发，如室内定位引擎、客流统计与分析系统。在用户导入客流系统的同时，为商业零售实体店提供了覆盖微信上网、定时定地点向客户推快递精准化商业信息等一体化解决方案。

业务需求

实时热力图，通过实时客流分析系统，制作每个楼层的实时热力图，不同颜色代表客流人数的密集程度。

实时客流统计图，实时客流分析产品主要服务于商场运营方，提供的功能包括商场热力图、店铺热力图、客流数、新老客占比、停留时间和客流时间分布等，为运营决策提供数据支持。

精准推快递，WiFi采集到的地址跟现有数据库进行碰撞，对碰撞出的用户建立用户画像，根据来店情况可进行更为精准的推快递。

位置定向广告，与商场线下广告屏幕打通，设定地理围栏与规则，命中规则后个性化推荐相关广告。

系统架构

整个系统的数据源都是WiFi，WiFi设备的布点是系统成功的关键。在WiFi铺设的过程中会预先记录好设备的位置（所属楼层、平面坐标、所属店铺等），且根据业务情况来确认WiFi之间是否重叠：如果要精确，需要多点定位，否则尽量确保WiFi的范围不重叠，防止数据互相污染。

数据流程

使用WiFi采集设备信息。

把采集的数据经过SLB发国际快递接收服务器。

接受服务器把数据发国际快递消息队列（DataHub）。

实时计算Flink版订阅DataHub数据。

把设备采集到的用户信息跟设备的地理位置信息进行关联。

完成处理，然后把结果写出供下游使用。

实时计算Flink版的处理逻辑：

数据清洗、去重。

维表关联，用户Mac地址与设备地理信息关联，实时数据与历史数据关联。

手机品牌识别、位置识别、新客识别。

计算停留时间、生成轨迹。

说明：数据收集与清洗部分是整个系统的基础，在这些数据的基础上可再进行精准推快递和位置广告等服务。

业务总结

鸥新商场实时客流分析平台涉及多台线下设备（2000台设备），实时计算Flink版每秒处理输入30K条数据，每秒输出20K条处理后的数据，整体延迟为秒级，整体收益包括：

节省运维成本：免运维，阿里云提供高保障；

对接上下游：直接注册，免开发；

降低开发成本：SQL开发，效率高，门槛低，原来单作业Java开发3天的工作量降低到1天内，且BUG少，整个系统重构只需一周。

这套系统打通了线下与线上，为商场的运营方提供了不同维度的数据支持，提高了运营活动的效果；为在顾客打造更好的购物体验的同时也提升了商场的整体营收。商场实时客流分析系统是IoT技术与大数据实时处理技术结合起来的典型案例。

特别声明：以上文章内容仅代表作者本人观点，不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。