[發明專利]一種動態實時同步多源大表數據的增強實時計算方法

有效

• 申請號: 202110947193.1
• 申請日: 2021-08-18
• 公開（公告）號: CN113407600B
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 劉軍華;吳名朝
• 申請（專利權）人: 浩鯨云計算科技股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/25;G06F16/27
• 代理公司: 南京中盟科創知識產權代理事務所(特殊普通合伙) 32279
• 代理人: 孫麗君

1.一種動態實時同步多源大表數據的增強實時計算方法，其特征在于，該方法包括以下步驟：

S1、基于虛擬節點一致性哈希算法與結構化查詢語言通過單節點存儲引擎搭建分布式動態表管理組件；

S2、通過結構化查詢語言在分布式動態表管理組件中創建分布式動態表，并通過分布式動態表來標準化多源庫表的數據結構；

S3、通過實時同步技術管理分布式動態表元數據變更信息的同步更新；

S4、初始化批量導入分布式動態表數據；

S5、核對導入數據的完整性；

S6、對分布式動態表中的數據進行實時更新；

S7、對數據同步更新過程進行實時數據的同步監控；

S8、將分布式動態表中的數據通過結構化查詢語言轉換成實時流數據的虛擬表；

S9、將虛擬表中的數據與預先配置的流數據進行結合流計算；

S10、輸出流計算結果；

其中，所述將分布式動態表中的數據通過結構化查詢語言轉換成實時流數據的虛擬表還包括以下步驟：

S81、編寫讀取分布式動態表的結構化查詢語言；

S82、通過解析器和驗證器分析與校驗結構化查詢語言的合規性；

S83、將結構化查詢語言拆分成代碼可編寫的算子，識別包括分布式動態表及相關字段信息，分析出字段與值，并根據表數據存儲格式進行模糊查詢；

S84、通過應用程序接口及事務機制，保障虛擬表名與分布式動態表名的一致性，實現分布式動態表的數據轉換成流數據；

所述將虛擬表中的數據與預先配置的流數據進行結合流計算還包括以下步驟：

S91、利用實時計算引擎的結構化查詢語言讀取虛擬表與流表的數據；

S92、按需加載虛擬表的數據，解析加載虛擬表的數據的條件，根據條件通過異步多線程方式從分布式動態表中加載數據到實時計算引擎的內存中；

S93、虛擬表數據加載過程中，啟用異步多并發方式傳遞數據，根據數據量大小來動態分配傳遞的并發數；

S94、加載時根據表分組、數據的讀取范圍以及集群資源的空閑情況拆分成并發取數端，并進行并發讀取數據。

2.根據權利要求1所述的一種動態實時同步多源大表數據的增強實時計算方法，其特征在于，所述基于虛擬節點一致性哈希算法與結構化查詢語言通過單節點存儲引擎搭建分布式動態表管理組件還包括以下步驟：

S11、基于虛擬節點一致性哈希算法實現數據的均衡分布存儲；

S12、分析結構化查詢語言并轉換成庫表信息代碼，再通過分布算法與單節點存儲引擎的應用程序接口實現數據的讀寫操作。

3.根據權利要求2所述的一種動態實時同步多源大表數據的增強實時計算方法，其特征在于，所述基于虛擬節點一致性哈希算法實現數據的均衡分布存儲還包括以下步驟：

S111、將整個哈希空間抽象成為虛擬圓環；

S112、對哈希函數的值進行存取路由時，首先路由到虛擬節點上，再由虛擬節點尋找到真實的節點；

S113、在虛擬圓環上虛擬P個物理節點，將每個物理節點虛擬出N個虛擬節點，再將總的虛擬節點隨機映射到虛擬圓環上；

S114、數據存儲與獲取；

其中，虛擬節點總數公式為：

虛擬節點總數（M）=物理節點數（P）*虛擬節點數（N）。

4.根據權利要求1所述的一種動態實時同步多源大表數據的增強實時計算方法，其特征在于，所述通過實時同步技術管理分布式動態表元數據變更信息的同步更新還包括以下步驟：

S31、字段變更；

S32、主鍵與索引字段的變更；

其中，所述字段變更包括字段編碼及字段數據類型變更。

5.根據權利要求1所述的一種動態實時同步多源大表數據的增強實時計算方法，其特征在于，所述初始化批量導入分布式動態表數據還包括以下步驟：

S41、根據獲取的庫表名稱，從內存中獲取庫表的元數據信息；

S42、利用分布式動態表管理組件的入庫語句將多個域值對應設置到哈希表中；

S43、利用分區策略保存數據，并形成表數據存儲格式。