[發明專利]輕量級多源異構數據融合方法及系統

有效

• 申請號: 202210568465.1
• 申請日: 2022-05-24
• 公開（公告）號: CN114661810B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 姚冰峰;郭大琦;郭蘭蘭;武寬;劉彪;宋佳;俞雋亞;何岳昊
• 申請（專利權）人: 國網浙江省電力有限公司杭州供電公司;國網浙江省電力有限公司桐廬縣供電公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/906;G06K9/62
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 魏亮

1.輕量級多源異構數據融合方法，其特征在于，包括：

對電網中的所有數據源進行分類得到主數據源和從數據源，若判斷從數據源為多個，則獲取每個從數據源所對應的數據主體，將具有相同數據主體的從數據源歸類為一個從數據集合；

依次獲取每一個主數據源的數據主體，確定與所述數據主體相對應的從數據集合，根據所述數據主體在主數據源的主數據屬性以及從數據集合中的至少一個從數據屬性，生成相對應的多源異構模板；

基于所述多源異構模板對主數據源和從數據源內相對應的主電力數據、從電力數據進行輕量化的采集融合，得到每個數據主體的多源異構數據；

根據每個多源異構數據的數據結構對所有的多源異構數據進行分類，獲取具有不同數據結構的多源異構數據中的差異結構數據，根據所述差異結構數據生成相應多源異構數據的差異標簽；

根據所述差異標簽生成不同的數據結構存儲單元，將多個數據主體的多源異構數據根據其數據結構存儲至具有不同差異標簽的數據結構存儲單元內；

所述依次獲取每一個主數據源的數據主體，確定與所述數據主體相對應的從數據集合，根據所述數據主體在主數據源的主數據屬性、以及從數據集合中的至少一個從數據屬性，生成相對應的多源異構模板，包括：

獲取初始化數據模板，所述初始化數據模板包括主體槽位、主數據槽位以及從數據槽位；

獲取每一個主數據源的數據主體，將所述數據主體填充至所述主體槽位處，對所述主數據槽位的數量進行調整得到與所述主數據源的數量相對應的主數據槽位；

對所述從數據槽位的數量進行調整得到與所述從數據源的數量相對應的從數據槽位；

基于所述主數據源的主數據屬性、從數據源的從數據屬性，在所述主數據槽位以及從數據槽位處分別建立主數據采集單元格和從數據采集單元格，生成多源異構模板；

所述基于所述主數據源的主數據屬性、從數據源的從數據屬性，在所述主數據槽位以及從數據槽位處分別建立主數據采集單元格和從數據采集單元格，生成多源異構模板，包括：

基于所述主數據源的主數據屬性在所述主數據槽位處建立至少一個維度的主數據采集欄目，所述主數據采集欄目包括主數據采集單元格；

基于所述從數據源的從數據屬性在所述從數據槽位處建立至少一個維度的從數據采集欄目，所述從數據采集欄目包括從數據采集單元格；

在每個數據主體所對應的初始化數據模板中分別建立與所有主數據源、從數據源對應的主數據采集單元格、從數據采集單元格后，對所述初始化數據模板輕量化處理，生成相對應的多源異構模板；

所述在每個數據主體所對應的初始化數據模板中分別建立與所有主數據源、從數據源對應的主數據采集單元格、從數據采集單元格后，對所述初始化數據模板輕量化處理，生成相對應的多源異構模板，包括：

獲取所述主數據采集單元格和/或從數據采集單元格分別所對應的維度信息；

基于輕量轉化表對所有的維度信息進行輕量轉化處理，使得主數據采集單元格和/或從數據采集單元格的每個維度信息轉化為唯一相對應的維度字符；

將所述維度字符對初始化數據模板中相對應的維度信息進行替換，生成相對應的多源異構模板；

所述基于輕量轉化表對所有的維度信息進行輕量轉化處理，使得主數據采集單元格和/或從數據采集單元格的每個維度信息轉化為唯一相對應的維度字符，包括：

獲取所有輕量轉化表內的所有維度字符，按照所述維度字符長度對所有的維度字符進行升序排序得到字符排序表；

獲取所有的主數據采集單元格內的維度信息的第一數量，選取字符排序表中前部與所述第一數量相對應的維度字符作為第一子字符表；

將字符排序表中與所述第一子字符表相對應的維度字符刪除，得到第一更新子排序表；

獲取所有的從數據采集單元格內的維度信息的第二數量，選取第一更新子排序表的前部與所述第二數量相對應的維度字符作為第二子字符表；

基于所述第一子字符表確定與所述主數據采集單元格的維度信息相對應的維度字符，基于所述第二子字符表確定與所述從數據采集單元格的維度信息相對應的維度字符；

所述基于所述多源異構模板對主數據源和從數據源內相對應的主電力數據、從電力數據進行輕量化的采集融合，得到每個數據主體的多源異構數據，包括：

確定每一個多源異構模板所對應的數據主體，采集所述主數據源和/或從數據源內與所述數據主體的維度信息相對應的電力標量值和/或電力備注信息，所述電力標量值和/或電力備注信息屬于所述主電力數據和/或從電力數據；

若判斷每一個多源異構模板的所有主數據采集單元格和/或從數據采集單元格內分別填充有相對應的電力標量值和/或電力備注信息后，則判斷得到相對應數據主體的多源異構數據。