[發明專利]一種數據存儲方法和裝置

在審

• 申請號: 202010575945.1
• 申請日: 2020-06-22
• 公開（公告）號: CN113778318A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 林艷;周德輝;文小東;史金昊;崔詞茗
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/27
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

1.一種數據存儲方法，其特征在于，包括：

接收通過用戶分層計算任務獲得的用戶分層數據，基于存儲時間和模型將所述用戶分層數據寫入預設的熱數據集中；

根據歸檔任務，將熱數據集中滿足預設周期的用戶分層數據按照轉存模型歸檔至預設的冷數據集中，進而得到所述用戶分層數據在冷數據集中的分區編碼；

調用歸檔元數據寫入服務，獲取所述用戶分層數據對應的存儲時間、模型、歸檔時間和分區編碼，進而寫入到數據庫的數據歸檔元數據表中。

2.根據權利要求1所述的方法，其特征在于，寫入到數據庫的數據歸檔元數據表中之后，還包括：

根據用戶分層數據的讀取任務，調用歸檔元數據讀取服務，基于讀取請求從數據庫的數據歸檔元數據表中查詢預設時間段內目標模型的存儲信息，并返回分區編碼，以根據所述分區編碼讀取冷數據集中的用戶分層數據。

3.根據權利要求2所述的方法，其特征在于，基于讀取請求從數據庫的數據歸檔元數據表中查詢預設時間段內目標模型的存儲信息，包括：

基于讀取請求判斷數據庫的數據歸檔元數據表中是否存預設時間段內具有目標模型的存儲信息，若是則提取版本號最大的存儲信息，返回對應的分區編碼，以根據所述分區編碼讀取冷數據集中的用戶分層數據；若否則通知未歸檔，進而基于讀取請求讀取熱數據集中的用戶分層數據。

4.根據權利要求1所述的方法，其特征在于，將熱數據集中滿足預設周期的用戶分層數據按照轉存模型歸檔至預設的冷數據集中，包括：

根據模型將滿足預設周期的用戶分層數據進行分組且按照保有的數據量從大到小排序；

獲取滿足預設周期的用戶分層數據總量和分區個數，以得到每個分區的平均用戶分層數據量；

按順序依次取出一組用戶分層數據，對于每組用戶分層數據循環執行下面過程，直至全部用戶分層數據轉存完成：

判斷當前組內未轉存數據量是否大于或等于平均用戶分層數據量，若是則判斷冷數據集中是否存在數據量為0的分區，如果是則基于數據量為0的分區進行轉存，如果否則獲取冷數據集中剩余空間最大的分區進行轉存；若否則判斷是否存在平均用戶分層數據量與當前保有數據量的差值大于或等于當前組內未轉存數據量的分區，如果是則在所述分區中獲取剩余空間最小進行轉存，如果否則獲取冷數據集中剩余空間最大的分區進行轉存。

5.根據權利要求4所述的方法，其特征在于，在進行轉存時，包括：

按照組內存儲時間從小到大的順序，獲取待轉存用戶分層數據；

基于冷數據集中本次用于轉存的分區編碼，對所述每個待轉存用戶分層數據打標簽；

將打標簽后的待轉存用戶分層數據合并成HDFS塊存儲的文件大小，寫入冷數據集HIVE表中。

6.根據權利要求1所述的方法，其特征在于，寫入到數據庫的數據歸檔元數據表中，包括：

判斷當前數據歸檔元數據表中是否存在具有相同模型編碼和存儲時間的存儲信息；

若是則設置該存儲信息為無效，且將該存儲信息中的版本號加1作為該歸檔的用戶分層數據的版本號；若否則設置該歸檔的用戶分層數據的版本號為1。

7.根據權利要求1-6中任一所述的方法，其特征在于，基于存儲時間和模型將所述用戶分層數據寫入預設的熱數據集中，包括：

根據存儲時間和模型生成在熱數據集中的分區編碼，以將所述用戶分層數據寫入熱數據集中。

8.一種數據存儲裝置，其特征在于，包括：

第一模塊，用于接收通過用戶分層計算任務獲得的用戶分層數據，基于存儲時間和模型將所述用戶分層數據寫入預設的熱數據集中；

第二模塊，用于根據歸檔任務，將熱數據集中滿足預設周期的用戶分層數據按照轉存模型歸檔至預設的冷數據集中，進而得到所述用戶分層數據在冷數據集中的分區編碼；

第三模塊，用于調用歸檔元數據寫入服務，獲取所述用戶分層數據對應的存儲時間、模型、歸檔時間和分區編碼，進而寫入到數據庫的數據歸檔元數據表中。