[發(fā)明專利]一種針對異構(gòu)環(huán)境監(jiān)測數(shù)據(jù)融合方法

有效

• 申請?zhí)枺?/td>: 201811273508.3
• 申請日: 2018-10-30
• 公開（公告）號: CN109408578B
• 公開（公告）日: 2020-07-31
• 發(fā)明（設(shè)計）人: 雷育濤;趙坤榮;賈燕;黃凌輝;吳雙;王松嶺;戴碧蘭;張一凡;陳永鏗
• 申請（專利權(quán)）人: 環(huán)境保護部華南環(huán)境科學研究所
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06K9/62
• 代理公司: 廣州海藻專利代理事務(wù)所(普通合伙) 44386
• 代理人: 張大保

1.一種針對異構(gòu)環(huán)境監(jiān)測數(shù)據(jù)融合方法，用于實現(xiàn)來自不同類型數(shù)據(jù)源的環(huán)境監(jiān)測數(shù)據(jù)的融合，其特征在于，包括：

抽取環(huán)境監(jiān)測感知層多個數(shù)據(jù)源的原始記錄，所述多個數(shù)據(jù)源至少包括兩種類型的數(shù)據(jù)源；

將所有原始記錄整合為聯(lián)合記錄，所述聯(lián)合記錄包括多個數(shù)據(jù)源中所有字段值之間的映射關(guān)系；

計算所述聯(lián)合記錄之間的相似度，根據(jù)所述相似度確定出重復(fù)的聯(lián)合記錄；

所述計算所述聯(lián)合記錄之間的相似度，進一步包括采用轉(zhuǎn)換代價計算聯(lián)合記錄的每兩個字段間的相似度值，所述轉(zhuǎn)換代價描述如下：

對于任意兩個字符串x和y，如果對x進行一系列操作進而得到y(tǒng)，則操作次數(shù)最少的操作序列表示為字符串x和y的轉(zhuǎn)換代價t(x,y)；如果將x和y分別表示為x₁,…x_n和y₁,…y_m，則遞歸執(zhí)行以下過程得到轉(zhuǎn)換代價t(x,y)：

初始化t(0,0)＝0；

令i∈[1,n]；j∈[1,m]

t(0,j)＝j(luò)；t(i,0)＝i；

其中x_i和y_j表示字符串x和y的第i個和第j個字符，u(i,j)為t(i-1,j-1),t(i,j-1),t(i-1,j)三者的最小值；

如果字符串x和y的轉(zhuǎn)換代價t(x,y)小于預(yù)定義誤差距離閾值δ，則確定兩個字符串是匹配的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個數(shù)據(jù)源中至少有一個數(shù)據(jù)源為核心數(shù)據(jù)源，且所述多個數(shù)據(jù)源中至少有一個數(shù)據(jù)源為第三方數(shù)據(jù)源，對于其中所有字段均來自于核心數(shù)據(jù)源的聯(lián)合記錄，不參與聯(lián)合記錄之間的相似度計算的步驟。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述核心數(shù)據(jù)源的可信度高于預(yù)定閾值，所述第三方數(shù)據(jù)源的可信度低于預(yù)定閾值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計算聯(lián)合記錄之間的相似度，進一步包括：計算聯(lián)合記錄的每兩個字段間的相似度值，進而將各個字段的相似度融合為整個聯(lián)合記錄的相似度。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述原始記錄為XML文檔格式，并且所述抽取環(huán)境監(jiān)測感知層多個數(shù)據(jù)源的原始記錄，進一步包括：

通過XML Schema進行解析和查詢形成數(shù)據(jù)表格式，然后統(tǒng)一表示為聯(lián)合記錄。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述原始記錄為XML文檔格式，并且所述抽取環(huán)境監(jiān)測感知層多個數(shù)據(jù)源的原始記錄，進一步包括：

通過Schema信息獲取XML數(shù)據(jù)的元數(shù)據(jù)模式信息。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述相似度確定出重復(fù)的聯(lián)合記錄之后，還包括：

刪除冗余的聯(lián)合記錄。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述異構(gòu)環(huán)境監(jiān)測數(shù)據(jù)包括服務(wù)器集群的動力環(huán)境監(jiān)控數(shù)據(jù)。