[發明專利]一種基于跨引擎水平分區表的大數據生命周期管理方法

在審

• 申請號: 202010616160.4
• 申請日: 2020-07-01
• 公開（公告）號: CN111752930A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 樊文昌;于偉;周恒
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 劉淑風

1.一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，該方法是將需要頻繁訪問的熱數據保存在事務型數據庫中，訪問頻率較低的溫數據保存在分析數據庫，偶爾使用的冷數據保存在Hadoop；

同時隨著時間的推移，熱數據變成溫數據后，自動將其遷移到分析型數據庫中；

溫數據變冷后，自動將其遷移到Hadoop數據庫中。

2.根據權利要求1所述的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，包括以下步驟：

步驟1：創建水平分區表并指定分區信息；

步驟2：數據寫入熱分區；

步驟3：遷移捕獲器實時捕獲待遷移數據；

步驟4：遷移通道實現數據自動遷移。

3.根據權利要求1所述的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，步驟1所述創建水平分區表并指定分區信息，步驟如下

1.1、在創建表時，定義唯一分區列，作為數據分區的分區鍵，并保證分區列必須是時間類型；

1.2、指定每個分區對應引擎的標識和連接信息；

1.3、指定唯一的分區邊界條件，用于判定分區鍵所屬分區，并隨著時間推移分區邊界將動態調整。

4.根據權利要求1所述的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，步驟2所述數據寫入熱分區，步驟如下：

2.1、寫入水平分區表的數據首先會保存在熱分區中；

2.2、等待數據過期，超出熱分區邊界時，數據會自動遷移到溫分區；

2.3、以此類推，最終數據自動遷移到冷分區。

5.根據權利要求1所示的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，步驟3所述遷移捕獲器實時捕獲待遷移數據，步驟如下：

3.1、隨著時間的推移，遷移捕獲器根據數據行的分區鍵和分區邊界實時判定數據行是否需要遷移；

3.2、如果超出本分區引擎的邊界，遷移捕獲器捕獲該數據行并將其發送到遷移通道。

6.根據權利要求1所示的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，步驟4所述遷移通道實現數據自動遷移，步驟如下：

4.1、依此從熱分區引擎到溫分區引擎、從溫分區引擎到冷分區引擎建立數據單向實時遷移通道。

4.2、遷移通道將接收的待遷移數據實時傳輸到目標引擎。

4.3、待遷移完成后，通知遷移捕獲器將該數據行標記為無效，后續由垃圾數據回收器負責刪除數據。

7.根據權利要求1所示的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，所述事務型數據庫為DRDB。

8.根據權利要求1所示的一種基于跨引擎水平分區表的大數據生命周期管理方法，其特征在于，所述分析型數據庫為GPDB。