IoT物联网海量设备管理的技术挑战和实现方案

IoT物联网海量设备管理的技术挑战和实现方案

2024-10-31 20:43

随着大量物联网场景开始涌现，海量碎片化设备和巨量时序数据给物联网平台带来了一系列新的要求和新的技术挑战。

海量设备管理的技术挑战

高效灵活的设备检索

从设备管理运维的视角出发，除一般检索产品应具备的低RT、高QPS、高稳定性外，物联网平台还需为用户提供全面的数据、尽可能短的可见时延、灵活的查询，所面临的主要技术挑战包括亿级数据、数据高频变更、数据的时序特性、无冷热特征、结构松散和数据异构。

海量设备的管理运维

物联网场景下，连接上云的设备数越来越多，当设备规模达到一定量级，如何对大规模设备进行管理和控制，例如大规模设备控制和远程升级，是一个非常大的挑战。这涉及到设备圈选能力、设备任务调度能力、云端向设备批量推送能力，并对系统稳定性也提出了更高的要求。

设备出厂常面临两个问题，一是在设备出厂时，需对设备的不同地域和不同实例的连接信息进行硬编码，导致厂商无法进行提前备货;另一个是设备生产者和使用者通常是不同的，需要解决设备的最终归属问题。所以我们面临的主要技术挑战是如何让设备不需要硬编码接入点信息就可以快速可靠地实现就近接入，以及如何实现跨租户、地域、实例复杂网络场景的大规模设备可靠分发的问题。

海量设备管理的技术方案

设备动静态检索

IoT设备的大量静态元数据、运行时时序数据，组成了海量异构数据，为了从大量数据中快速高效检索出目标设备进行远程管理，物联网平台检索能力同时提供了动静态两种能力。静态检索，是基于已有数据检索符合条件的设备，动态检索则，是利用规则圈选一批符合条件(包括未来符合条件)的设备。主要包括的关键技术有:万级物模型索引配置、 SQL-Like检索语法、动态分组圈选。

1) 万级物模型索引配置

虽然单个设备的物模型属性数量是有限的，但是不同设备的物模型属性数是完全不一样的，这就导致最终设备的物模型的属性是不可穷尽的。但是索引表的宽度是有限的，因此就需要用有限的索引列存储无限的物模型数据。

主要的技术手段是通过结合物模型数据定义明确、整体数量不可穷尽、单设备可穷尽的特点，将单设备的物模型信息与索引进行映射，多设备复用相同索引，实现物模型数据的检索。

2) SQL-Like检索语法

为了降低用户的使用成本，物联网平台提供了SQL-Like的检索能力，用户能够像查询数据库一样来检索数据。与此同时，底层使用了多套检索引擎，考虑到易用性在上层使用SQL检索的方式来屏蔽底层引擎的差异。物联网平台设计了一套可以适配多引擎和业务自定义的SQL检索框架。

3)动态分组圈选

物联网平台支持基于产品、上传的DeviceName文件列表、灰度、地理位置、SQL检索、分组、标签、物模型属性、设备版本号等多种方式圈选设备发起OTA升级，提供丰富的圈选方式满足用户各种使用场景。除了使用到上述的SQL-Like检索能力外，还用到了基于动态分组的升级能力。例如建立一个分组是指定产品下电池电量大于80%的设备，OTA的升级策略是对该动态分组内的设备触发升级，其中电池电量可以是一个物模型属性，其技术难点是该分组下设备是随着物模型属性上报的实时值动态进行变化的，并非一个固定的设备分组。

海量设备长任务的调度

大规模设备升级是一个典型的长任务，升级任务整体执行时间长，在升级过程中极易被中断。为了保证整个设备升级过程的高可靠性，需要使用长任务调度和管理机制。OTA不仅要支持单个批次下大批量设备同时升级，同时还需要支持多个大批量设备升级的并发升级。这对长任务框架提出了更高的要求:必须从传统的单机调度模式演进到集群调度模式，并在升级任务的调度、推送、执行上有更灵活的策略。

主要技术手段:

1) 动态调度

保证升级任务能够有序被调度执行，避免某个时刻发起升级的任务数过多导致系统出现瓶颈，当单租户下发起升级任务过多后会进入等待队列，后续达到运行条件后可被调度执行。

2) 异常自动恢复

动态检测运行中的任务，当发现任务被中断后可自动进行恢复。

3) 分布式协同

充分利用集群能力处理大批量设备升级，其中设备圈选、升级任务初始化、推送升级消息三者可并发执行，从而可避免触发单机瓶颈，使大规模设备升级时系统各项水位更加平稳。

4) 精细化推送

在实现每分钟恒定推送速率的基础上，支持每分钟可变推送速率，可用于提高升级成功率。