[發明專利]數據文件處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110373852.5
• 申請日: 2021-04-07
• 公開（公告）號: CN113704204A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 方睿
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/16;G06F16/182;G06N20/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;張穎玲

本申請提供了一種數據文件處理方法、裝置、電子設備及計算機可讀存儲介質；方法包括：響應于針對數據文件的讀取請求，調用文件讀取接口對數據文件的讀取請求進行解析，得到數據文件的標識；基于數據文件的標識遍歷第一存儲空間，確定數據文件的存儲狀態；當數據文件的存儲狀態表征數據文件已緩存時，基于數據文件的標識，從第一存儲空間獲取數據文件的元數據；基于數據文件的元數據，從第二存儲空間獲取數據文件的文件數據。通過本申請，能夠加快數據文件的讀取效率。

技術領域

本申請涉及計算機數據技術，尤其涉及一種數據文件處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

在大數據爆發的時代，通常存在海量的數據文件，例如計算機視覺方向需要用到上億級別的數據文件進行模型訓練，電商應用需要用到上萬的商品圖片信息進行商品展示，人員管理系統需要用到上千的人員照片信息進行簽到等。

面對數據的大爆炸，相關技術將數據文件存儲到文件服務器中。由于文件服務器存儲了上千萬個數據文件時，導致在需要讀取某個數據文件時，讀取速度遠遠滿足不了現實的讀取要求，相關技術缺乏高效的文件讀取方法。

發明內容

本申請實施例提供一種數據文件處理方法、裝置、電子設備及計算機可讀存儲介質，能夠加快數據文件的讀取效率。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種數據文件處理方法，包括：

響應于針對數據文件的讀取請求，調用文件讀取接口對所述數據文件的讀取請求進行解析，得到所述數據文件的標識；

基于所述數據文件的標識遍歷第一存儲空間，確定所述數據文件的存儲狀態；

當所述數據文件的存儲狀態表征所述數據文件已緩存時，基于所述數據文件的標識，從所述第一存儲空間獲取所述數據文件的元數據；

基于所述數據文件的元數據，從第二存儲空間獲取所述數據文件的文件數據。

上述技術方案中，所述基于所述數據文件的標識遍歷第一存儲空間，確定所述數據文件的存儲狀態之后，所述方法還包括：

當所述數據文件的存儲狀態表征所述數據文件未緩存時，基于所述數據文件的標識，調用所述文件讀取接口從元數據服務器中獲取所述數據文件的元數據；

基于所述數據文件的元數據，調用所述文件讀取接口從文件服務器獲取所述數據文件的文件數據。

上述技術方案中，所述基于所述數據文件的標識，調用所述文件讀取接口從元數據服務器中獲取所述數據文件的元數據之后，所述方法還包括：

將所述數據文件的元數據存儲至所述第一存儲空間，并

將所述數據文件的文件數據存儲至所述第二存儲空間。

上述技術方案中，所述將所述數據文件的元數據存儲至所述第一存儲空間，并將所述數據文件的文件數據存儲至所述第二存儲空間，包括：

遍歷所述數據文件的歷史日志，確定所述數據文件的讀取頻率；

當所述數據文件的讀取頻率大于讀取頻率閾值時，將所述數據文件的元數據存儲至所述第一存儲空間，并將所述數據文件的文件數據存儲至所述第二存儲空間。

上述技術方案中，所述將所述數據文件的元數據存儲至所述第一存儲空間，并將所述數據文件的文件數據存儲至所述第二存儲空間，包括：

對所述數據文件進行特征提取處理，得到所述數據文件的特征信息；

基于所述數據文件的特征信息進行預測處理，得到所述數據文件的緩存等級；