[發明專利]一種數據熱度統計系統和方法

有效

• 申請號: 201710374717.6
• 申請日: 2017-05-24
• 公開（公告）號: CN108241725B
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 吳宏志;韓東亮
• 申請（專利權）人: 新華三大數據技術有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數據熱度統計系統，其特征在于，包括客戶端和服務端，所述客戶端包括業務解析模塊和客戶端接口模塊，所述服務端包括服務端接口模塊和存儲模塊，其中：

所述業務解析模塊，用于獲取Hive數據倉庫中被查詢的表和/或列的信息以及被查詢時間；

所述客戶端接口模塊，用于將所述業務解析模塊獲取的被查詢的表和/或列的信息以及被查詢時間發送給所述服務端接口模塊；

所述服務端接口模塊，用于接收所述被查詢的表和/或列的信息以及被查詢時間；還用于在接收到統計指令或統計周期到達時，統計在最近M個單位時間內所述被查詢的表和/或列的被查詢次數，將所述被查詢的表和/或列映射到預先定義的數據訪問模型；根據所述數據訪問模型的熱度閾值，確定所述被查詢的表和/或列的數據熱度；所述M為大于0的整數；所述數據訪問模型包括隨機訪問模型、遞增訪問模型、遞減訪問模型和周期訪問模型；

所述存儲模塊，用于記錄所述服務端接口模塊接收的被查詢的表和/或列的信息以及被查詢時間；還用于記錄所述被查詢的表和/或列的數據熱度。

2.如權利要求1所述的系統，其特征在于，

所述服務端接口模塊，還用于在所述Hive數據倉庫中有新增的表和/或列時，獲取新增的表和/或列的信息，確定所述新增的表和/或列為熱數據；

所述存儲模塊，還用于記錄所述新增的表和/或列的信息以及所述新增的表和/或列的數據熱度。

3.如權利要求1所述的系統，其特征在于，

所述服務端接口模塊，還用于在接收到統計指令或統計周期到達時，確定在最近M個單位時間內所述Hive數據倉庫中未被查詢的表和/或列為冷數據；

所述存儲模塊，還用于記錄所述未被查詢的表和/或列的數據熱度。

4.如權利要求1至3任一項所述的系統，其特征在于，

所述存儲模塊，還用于根據列的數據熱度，將同一張表包括的屬于熱數據的列和屬于冷數據的列分別存儲到不同的文件中。

5.如權利要求1所述的系統，其特征在于，

所述業務解析模塊，還用于解析Hive服務節點設備上保存的Hive日志，獲取被查詢的表和/或列的信息以及被查詢時間；

或者，

所述客戶端還包括鉤子程序模塊，當Hive服務節點設備檢測到針對Hive數據倉庫的指令時被調用，用于觸發調用所述業務解析模塊；

所述業務解析模塊，還用于解析所述指令，并在確定所述指令為查詢指令時，從所述查詢指令中獲取被查詢的表和/或列的信息，以及記錄表和/或列的被查詢時間。

6.如權利要求1所述的系統，其特征在于，所述數據訪問模型的熱度閾值包括絕對閾值時，所述服務端接口模塊，還用于：

統計預設時間內被查詢的表或列的被查詢次數，判斷所述被查詢的表或列的被查詢次數是否小于所述絕對閾值，若是則確定所述被查詢的表或列為冷數據，否則確定所述被查詢的表或列為熱數據。

7.如權利要求1所述的系統，其特征在于，所述數據訪問模型的熱度閾值包括相對閾值時，所述服務端接口模塊，還用于：

統計預設時間內被查詢的表的被查詢次數以及所有表的被查詢次數，計算所述被查詢的表的被查詢次數與所有表的被查詢次數的比值，判斷所述比值是否小于所述相對閾值，若是則確定所述被查詢的表為冷數據，否則確定所述被查詢的表為熱數據；

統計預設時間內被查詢的列的被查詢次數以及所述列所屬的表中的所有列的被查詢次數，計算所述被查詢的列的被查詢次數與所述列所屬的表中的所有列的被查詢次數的比值，判斷所述比值是否小于所述相對閾值，若是則確定所述被查詢的列為冷數據，否則確定所述被查詢的列為熱數據。

8.如權利要求6或7所述的系統，其特征在于，

所述數據訪問模型為隨機訪問模型、遞增訪問模型或遞減訪問模型時，所述預設時間為最近N個單位時間，所述N為大于0的整數；

所述數據訪問模型為周期訪問模型時，所述預設時間為最近一個周期。