[發明專利]數據處理方法及其系統

有效

• 申請號: 201610417289.6
• 申請日: 2016-06-14
• 公開（公告）號: CN107506356B
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 侍建超
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;姜怡

1.一種數據處理方法，其特征在于，包括：

將一數據倉庫中的冷數據轉移存儲于一冷數據集群中；

監控所述數據倉庫接收的查詢語句，將所述查詢語句中的表名稱及該表名稱對應的表的數據分區范圍和所述數據倉庫中相應表的同一數據分區范圍進行比對；

根據比對結果，判斷所述查詢語句查詢的數據是否全部存儲于所述數據倉庫中；

當所述查詢語句查詢的數據沒有全部位于所述數據倉庫中時，將存儲于所述冷數據集群中的相應表中的、沒有位于所述數據倉庫中的數據分區范圍部分的冷數據自動拉回所述數據倉庫。

2.根據權利要求1所述的方法，其特征在于，其中將該數據倉庫中的該冷數據轉移存儲于該冷數據集群中包括：

配置系統定時掃描所述數據倉庫中的數據分區；

判斷各個數據分區是否在預設時長內被訪問；

將在所述預設時長內沒有被訪問的數據分區內的數據定義為冷數據，并將所述冷數據從所述數據倉庫中轉移存儲至所述冷數據集群，且從所述數據倉庫中刪除相應的冷數據。

3.根據權利要求1或2所述的方法，其特征在于，其中監控所述數據倉庫接收的查詢語句，將所述查詢語句中的表名稱及該表名稱對應的表的數據分區范圍和所述數據倉庫中相應表的同一數據分區范圍進行比對包括：

解析所述查詢語句，從所述查詢語句中獲取當前要查詢的數據的表名稱及該表名稱對應的表的數據分區范圍；

解析用于存儲文件和目錄的元數據信息的fsimage文件，通過該fsimage文件中該表的元數據信息獲取其中的數據分區信息；

通過比對當前要查詢的數據對應的該表的所述數據分區范圍和所述數據分區信息，確定當前要查詢的數據是否全部位于所述數據倉庫內。

4.根據權利要求1所述的方法，其特征在于，還包括：

當所述查詢語句查詢的數據沒有全部位于所述數據倉庫中時，發出一自動提醒信息，其用于提醒當前發起查詢的用戶，當前查詢的數據中沒有位于所述數據倉庫中的數據部分已被轉移至所述冷數據集群；

當接收到該用戶發送的確認拉回相應的冷數據請求時，則將所述冷數據自動拉回所述數據倉庫。

5.根據權利要求4所述的方法，其特征在于，其中將所述冷數據自動拉回所述數據倉庫包括：

當接收到該用戶發送的確認拉回相應的冷數據請求時，觸發一預先配置的調度程序；

將該表名稱、確認拉回的冷數據對應的數據分區作為參數傳遞給所述調度程序；

所述調度程序將相應的冷數據自動拉回所述數據倉庫。

6.根據權利要求5所述的方法，其特征在于，還包括：

比對所述冷數據集群與所述數據倉庫中該被拉回的冷數據對應的數據分區的文件大小；

若兩者文件大小一致，則刪除所述冷數據集群中該被拉回的冷數據對應的數據分區上的數據；

若兩者文件大小不一致，則刪除所述數據倉庫中該被拉回的冷數據，所述調度程序重新執行將相應的冷數據自動拉回所述數據倉庫。

7.一種數據處理系統，其特征在于，包括：

轉移模塊，其用于將一數據倉庫中的冷數據轉移存儲于一冷數據集群中；

監控模塊，其用于監控所述數據倉庫接收的查詢語句，將所述查詢語句中的表名稱及該表名稱對應的表的數據分區范圍和所述數據倉庫中相應表的同一數據分區范圍進行比對；

判斷模塊，其用于根據比對結果，判斷所述查詢語句查詢的數據是否全部存儲于所述數據倉庫中；

拉回模塊，其用于當所述查詢語句查詢的數據沒有全部位于所述數據倉庫中時，將存儲于所述冷數據集群中的相應表中的、沒有位于所述數據倉庫中的數據分區范圍部分的冷數據自動拉回所述數據倉庫。