[發明專利]數據文件處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110373852.5
• 申請日: 2021-04-07
• 公開（公告）號: CN113704204A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 方睿
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/16;G06F16/182;G06N20/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;張穎玲

1.一種數據文件處理方法，其特征在于，所述方法包括：

響應于針對數據文件的讀取請求，調用文件讀取接口對所述數據文件的讀取請求進行解析，得到所述數據文件的標識；

基于所述數據文件的標識遍歷第一存儲空間，確定所述數據文件的存儲狀態；

當所述數據文件的存儲狀態表征所述數據文件已緩存時，基于所述數據文件的標識，從所述第一存儲空間獲取所述數據文件的元數據；

基于所述數據文件的元數據，從第二存儲空間獲取所述數據文件的文件數據。

2.根據權利要求1所述的方法，其特征在于，所述基于所述數據文件的標識遍歷第一存儲空間，確定所述數據文件的存儲狀態之后，所述方法還包括：

當所述數據文件的存儲狀態表征所述數據文件未緩存時，基于所述數據文件的標識，調用所述文件讀取接口從元數據服務器中獲取所述數據文件的元數據；

基于所述數據文件的元數據，調用所述文件讀取接口從文件服務器獲取所述數據文件的文件數據。

3.根據權利要求2所述的方法，其特征在于，所述基于所述數據文件的標識，調用所述文件讀取接口從元數據服務器中獲取所述數據文件的元數據之后，所述方法還包括：

將所述數據文件的元數據存儲至所述第一存儲空間，并

將所述數據文件的文件數據存儲至所述第二存儲空間。

4.根據權利要求3所述的方法，其特征在于，所述將所述數據文件的元數據存儲至所述第一存儲空間，并將所述數據文件的文件數據存儲至所述第二存儲空間，包括：

遍歷所述數據文件的歷史日志，確定所述數據文件的讀取頻率；

當所述數據文件的讀取頻率大于讀取頻率閾值時，將所述數據文件的元數據存儲至所述第一存儲空間，并將所述數據文件的文件數據存儲至所述第二存儲空間。

5.根據權利要求3所述的方法，其特征在于，

所述將所述數據文件的元數據存儲至所述第一存儲空間之前，所述方法還包括：

將所述第一存儲空間劃分為多個第一區塊，其中，所述第一區塊與緩存等級一一對應；

將所述第二存儲空間劃分為多個第二區塊，其中，所述第二區塊與所述緩存等級一一對應；

所述將所述數據文件的元數據存儲至所述第一存儲空間，包括：

將所述數據文件的元數據存儲至與所述數據文件的緩存等級對應的所述第一區塊中；

所述將所述數據文件的文件數據存儲至所述第二存儲空間，包括：

將所述數據文件的文件數據存儲至與所述數據文件的緩存等級對應的所述第二區塊中。

6.根據權利要求1所述的方法，其特征在于，所述基于所述數據文件的標識遍歷第一存儲空間，確定所述數據文件的存儲狀態之前，所述方法還包括：

當已讀取的歷史數據文件與所述數據文件的相似度大于相似度閾值時，調用所述文件讀取接口預先從元數據服務器中獲取所述數據文件的元數據，并將所述數據文件的元數據存儲至所述第一存儲空間；

基于所述數據文件的元數據，調用所述文件讀取接口預先從文件服務器獲取所述數據文件的文件數據，并將所述數據文件的文件數據存儲至所述第二存儲空間。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對從所述第二存儲空間獲取的所述數據文件的文件數據進行更新驗證；

當通過更新驗證確定文件服務器對應的所述數據文件的文件數據發生更新時，從所述文件服務器獲取更新的所述數據文件的文件數據，并基于更新的所述數據文件的文件數據更新所述第二存儲空間。

8.根據權利要求7所述的方法，其特征在于，所述對從所述第二存儲空間獲取的所述數據文件的文件數據進行更新驗證，包括：

對從所述第二存儲空間獲取的所述數據文件的文件數據進行編碼，得到對應的驗證碼；

當從所述文件服務器獲取的驗證碼與編碼得到的驗證碼不一致時，確定所述第二存儲空間存儲的所述數據文件的文件數據需要進行更新。