[發明專利]一種基于多源異構大數據融合的云服務平臺設計方法

在審

• 申請號: 202110303639.7
• 申請日: 2021-03-22
• 公開（公告）號: CN113051249A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 田亞麗;吳茂傳;王躍;王雷;張磊;李剛;沃清荷;林晨;田野;董奇;王夢
• 申請（專利權）人: 江蘇杰瑞信息科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/242;G06F16/2458;G06F16/25;G06F16/28
• 代理公司: 連云港潤知專利代理事務所 32255
• 代理人: 劉喜蓮;馬強

1.一種基于多源異構大數據融合的云服務平臺設計方法，其特征在于：該方法包括

（1）構建面向行業應用的多源異構大數據集成框架

設計多源異構大數據系統，包括數據采集層，數據加工層和數據發布層，數據加工層使用多源異構大數據集成框架，多源異構大數據集成框架是一種基于元數據的異構數據集成框架，該框架通過元數據庫方式建立系統數據全局字典，以全局字典的形式將異構多源異構數據在系統內實現全局、統一的共享，并建立專用的查詢管理模塊對用戶提交的查詢請求進行管理，包括將請求轉化為各數據源可執行的子查詢、查詢結果的整合；

（2）設計基于模糊D-S證據理論的多源異構大數據融合模型與算法

利用經驗、專家知識或概率分布的方式獲得模糊隸屬度函數后作為D-S證據理論的質量函數，設計多源異構數據源的融合結構，并根據多源異構數據源的融合結構設計支持多用戶決策的多源異構數據融合結構模型，然后在此基礎上，設計多源異構大數據融合算法；

（3）設計基于多源異構大數據融合的云服務平臺

（3.1）總體設計

通過數據采集層采集行業基礎數據與日常運營動態數據，數據采集完成后，在數據加工層建立各個源數據庫，用于進行數據的集成，數據加工層基于元數據的異構數據集成框架，元數據庫中儲存了全局信息，系統通過元數據庫管理器對元數據庫進行訪問和管理操作，所有數據源數據庫都通過元數據庫管理器在元數據庫中進行注冊；

數據發布層接收用戶終端發送的服務需求，將需求轉換成為查詢請求，提交到數據加工層，待數據加工層返回封裝好的結果數據后，通過多渠道發送至用戶終端上；

（3.2）異構動態數據源數據抽取和清洗

在數據集成之前，對動態數據進行預處理，預處理包括：數據完整性校驗、時間區間校驗、數據內容校驗、冗余數據篩除，最后提取關鍵數據存入動態數據專用數據庫中，與靜態數據一同進行集成；

（3.3）將數據庫映射為XML Schema文件

將所有數據源數據庫映射成為XML文件，同時生成XML Schema文件，映射過程共分為三個步驟：

（3.3.1）從源數據庫中提取關系模式；

（3.3.2）將扁平的關系模式轉換成為有向圖形式描述；

（3.3.3）將有向圖結構轉換為XML Schema描述；

（3.4）多源異構數據查詢與整合

接收數據發布層提交的查詢請求，執行查詢后將查詢結果進行數據合成，將結果返回給數據發布層，具體為：

查詢請求：先對接收到的查詢請求進行驗證，驗證包括規范性校驗、有效性驗證；

查詢分析：對通過驗證的查詢進行規范化和關鍵查詢內容的提取；

查詢分解：將規范化后的查詢請求，按數據源內數據的分布進行拆解，并生成子查詢；

查詢轉換：將子查詢轉換成為可執行的SQL語句，以全局字典為依據，提交到對應的數據源上進行查詢；

結果數據整合：接收多數據源傳回的查詢結果集，以查詢分解的原則為依據，對結果數據進行整合，整合完成后，將結果數據按查詢所請求的格式進行封裝，返回給數據發布層。

2.根據權利要求1所述的基于多源異構大數據融合的云服務平臺設計方法，其特征在于：所述多源異構大數據集成框架包括數據組織模塊和數據查詢模塊。

3.根據權利要求1所述的基于多源異構大數據融合的云服務平臺設計方法，其特征在于：所述查詢管理模塊包括查詢請求處理器、查詢結果整合器和查詢結果封裝器，

查詢請求處理器用于實現查詢驗證、查詢分析、查詢分解和查詢轉換功能；

查詢結果整合器用于對源數據庫所返回的分散查詢結果進行整合；

查詢結果封裝器用于根據數據發布層所提交的數據格式要求，對結果數據進行封裝，將結果返回給數據發布層。

4.根據權利要求1所述的基于多源異構大數據融合的云服務平臺設計方法，其特征在于：多源異構數據融合結構模型中的數據融合引擎包括數據倉庫模塊、決策支持度計算模塊、OWA算子權重向量計算模塊和數據轉換與排序模塊。

5.根據權利要求1所述的基于多源異構大數據融合的云服務平臺設計方法，其特征在于：所述多源異構數據源的融合結構在數據融合過程時，利用上下文知識和領域知識，采用投票法解決數據沖突問題。

6.根據權利要求1所述的基于多源異構大數據融合的云服務平臺設計方法，其特征在于：在云服務平臺設計過程中，提供傳統互聯網終端設備和移動互聯網終端設備的用戶客戶端。