数据融合和管理技术是物联网应用层的核心技术,也是物联网开发技术体系的重要组成部分,它们为促进物联网的广泛应用起到了关键作用。由于受到网络的动态特性、感知节点的能源有限性、数据的时间敏感性等诸多因素的影响,人类在物联网数据融合及管理技术方面遇到了越来越多的难题,这也成为了阻碍物联网广泛应用的难题之一。因此,对物联网数据融合及管理技术的探讨一直是国际物联网机构研究的课题。
物联网的数据融合及管理技术包括两个方面,分别是数据融合和数据管理,它们的定义和原理分别是:
(1)数据融合技术
数据融合技术涉及的范围较广,研究的内容较多,且自创始以来,应用于多个领域,其内容的广泛性和形式的多样性使得它很难有一个完整的定义。目前,人们对数据融合所做的较为简单的定义是“利用计算机技术对时序获得的若干感知数据,在一定准则下加以分析、综合,以完成所需决策和评估任务而进行的数据处理过程”。
数据融合技术具有以下三种含义:
第一,所融合的数据覆盖了全频段,具有全空间性。也就是说,它所包含的数据既是多维度的,又是多源头的,可以是数字数据或非数字数据,也可以是确定数据或模糊数据,还可以是全空间数据或子空间数据。
第二,数据具有互补性。就像一群人要共同完成一件事情一样,他们需要分工和互补才能将一件事做好。同样,通过完成相关数据来完成一项功能或应用,也需要数据之间具有这种相关性和互补性。这种互补性呈现在多种方面,可以是机构上的互补,也可以是层次上的互补,还可以是表达方式上的互补。
第三,数据融合区别于数据组合。这是因为,数据融合要求,融合的数据之间具有内部的特性,而这与数据组合的外部特性不符。
数据融合其实就是将多维度的数据先进行系统的关联,然后再做综合分析,最后融合成需要的数据资源。在这个过程中,融合的模式具有多样性,处理的算法具有广泛性,融合的目的是在已有数据信息的基础上,提高数据质量,提取可用知识,从而为物联网的广泛应用奠定基础。由此可见,数据融合需要数据的配对和识别。因此,在研究数据融合时要解决以下多种问题,比如虚假数据的识别、不一致数据的对准、估计目标数据的类型、感知数据的不确定性等。
数据融合的处理过程具有多层次、多方位的特点,在数据融合的过程中,要对具有广泛来源的数据进行检测、相关、综合以及评估。数据融合可以分成三个层次:数据级融合、特征级融合、决策级融合。
①数据级融合
数据级融合属于最低层级的数据融合方式,利用这种方式融合的数据一般是同等量级的传感器所采集的原始数据。将这些同等量级的传感器数据融合后,就可以将多个传感器所采集的同类信息进行归类和打包处理,这样一来,多个同等量级的传感器和单个传感器的识别和处理过程就会相同。
②特征级融
特征级融合属于中间层级的数据融合方式,这一层级所处理的数据一般是提取后具有明显特征的数据。通过特征级融合,这些数据将会被大幅压缩,这样做一方面可以节省存储空间,另一方面便于数据的实时利用。特征级融合过的数据通常可以作为决策分析的特征信息。
③决策级融合
决策级融合属于最高层级的数据融合方式,这一层级的融合要对特征信息进行进一步的融合判断,进而确定应用决策,并根据信息内容评估决策施行后的结果。
除了三级信息融合外,还有一个层级,即第四层级,这一层级是根据预见的结果对决策过程进行反馈控制。第四层级通常应用于具有反馈环节的物联网应用系统,主要作用是反馈控制或调整信息。
(2)数据管理技术
物联网的数据管理技术,又可以称作分布式动态实时数据管理技术。该技术就是通过代理节点收集兴趣数据,并对客观世界的数据信息进行实时、动态以及综合的管理。数据管理中心会下达感知任务,这些感知任务被下达给各个感知节点之后,感知节点通过采集所需数据来完成任务目标。如此一来,人们不需要了解物联网处理数据的具体方法,只需要在具体实现方法的基础上,对数据的逻辑结构进行相关查询,就能解决实际问题。数据管理一般包括五个方面,分别是数据获取、数据存储、数据查询、数据挖掘以及数据操作。具体来说,物联网数据管理技术具有以下特点:
第一,数据管埋技术可以处理感知数据的误差;
第二,在传感网支撑环境内进行数据处理;
第三,物联网信息查询和管理策略既要适应网络拓扑结构的变化,又要适应最小化能量消耗。
现阶段,物理网数据管理中比较优秀的研究成果有两个查询系统,一个是Cougar,另一个是TinyDB。
物联网数据管理技术依赖于传感网络,目前,物联网针对传感网的数据管理结构有四种类型,分别是层次式结构、半分布式结构、分布式结构以及集中式结构。
①层次式结构
层次式结构主要应用于对数据的层次性管理。
②半分布式结构
物联网的感知节点有些具备一定的计算和存储能力,先利用感知节点对捕获的数据进行初始处理,再将处理后的数据传输到中心节点,可以提高传输效率和数据质量。
③分布式结构
该种结构对感知节点的要求较高,需要感知节点具备较高的数据通信、数据存储以及数据计算能力,并且可以对数据查询命令进行独立的处理等。
④集中式结构
这是一种比较简单的数据处理结构,在这种结构中,感知节点会将获取的数据按照某种需要的方式发送到中心节点处,然后由中心节点进行统一处理。这种结构存在较大的弊端,中心节点的容错性较差,很容易使系统性能达到瓶颈。
目前,物联网针对传感网的数据管理系统主要以平分布式结构为研究对象。在该领域的研究中,典型的研究成果有Cougar系统和Fjord系统。
在Cougar系统中,为了避免通信开销过大,数据的查询处理需要在传感网的内部开展,当数据与查询内容相关时才需要从传感网中提取。该系统中的感知节点一方面要对本地数据进行处理,另一方面还要与相邻感知节点进行实时通信,有时还要协助其他感知节点,共同完成查询处理的相关任务等。
Fjord系统是Telegarph的重要组成部分,是一种数据流系统,它最大的特点是具有自适应性。该系统主要由两个部分组成,一是传感器代理,二是自适应处理引擎。Fjord系统处理查询的基础是数据流计算模型,利用该种系统可以根据计算环境的变化,实时调整查询计划。