[發明專利]一種數據獲取方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010030600.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111258965A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 余虹建;李錦豐
• 申請（專利權）人: 北京獵豹移動科技有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 祁獻民

本發明實施例公開一種數據獲取方法、裝置、電子設備及存儲介質，涉及計算機技術領域，能夠有效提高模型訓練中訓練數據的獲取速度。所述數據獲取方法，包括：確定訓練數據集所需的數據存儲空間與內存剩余空間的大小關系；在所述數據存儲空間大于所述內存剩余空間的情況下，根據預設策略，在所述訓練數據集中選擇至少一個文件為目標文件；在所述目標文件首次被讀取后，將所述目標文件保留在內核的頁緩存中，以便將來再次讀取所述目標文件時從所述內核的頁緩存中獲取所述目標文件。本發明適用于機器學習的模型訓練中。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據獲取方法、裝置、電子設備及存儲介質。

背景技術

近年來，人工智能技術在產業和生活中得到了越來越廣泛的應用。機器學習作為人工智能領域的一個重要分支，能夠通過大量的訓練數據，得到較為理想的數學模型，從而模擬人的思維。

然而，由于模型訓練所需的數據量巨大，常常是千萬級的文件數量，訓練數據的讀取速度成為影響模型訓練效率的重要因素。

對于模型訓練中，訓練數據的讀取速度較慢的問題，相關領域尚無有效的解決方案。

發明內容

有鑒于此，本發明實施例提供一種數據獲取方法、裝置、電子設備及存儲介質，能夠有效提高模型訓練中訓練數據的獲取速度。

第一方面，本發明實施例提供一種數據獲取方法，包括：

確定訓練數據集所需的數據存儲空間與內存剩余空間的大小關系；

在所述數據存儲空間大于所述內存剩余空間的情況下，根據預設策略，在所述訓練數據集中選擇至少一個文件為目標文件；

在所述目標文件首次被讀取后，將所述目標文件保留在內核的頁緩存中，以便將來再次讀取所述目標文件時從所述內核的頁緩存中獲取所述目標文件。

可選的，所述預設策略包括：

將所述訓練數據集中文件大小小于第一閾值的文件作為所述目標文件；

或者，

根據所述訓練數據集中各文件的文件大小以及所述內存剩余空間，確定所述目標文件，以使所述目標文件的數量大于第二閾值，和/或以使所述目標文件保留在內核的頁緩存中后，所述內存剩余空間小于第三閾值。

可選的，所述在所述目標文件首次被讀取后，將所述目標文件保留在內核的頁緩存中包括：

從所述訓練數據集中讀取第一文件；

確定所述第一文件是否為首次讀取的所述目標文件；

在所述第一文件為首次讀取的所述目標文件的情況下，為所述第一文件添加預設標記，以使虛擬文件系統VFS根據所述預設標記，將所述第一文件保留在內核的頁緩存中。

可選的，所述將所述目標文件保留在內核的頁緩存中之后，所述方法還包括：

接收從所述訓練數據集中讀取第二文件的指令；

在內核的頁緩存中查找所述第二文件；

在查找到所述第二文件的情況下，從所述內核的頁緩存中獲取所述第二文件，以利用所述第二文件進行模型訓練；

在未查找到所述第二文件的情況下，從遠端服務器獲取所述第二文件，以利用所述第二文件進行模型訓練。

可選的，所述方法還包括：

將所述訓練數據集緩存在本地硬盤；

在未查找到所述第二文件的情況下，從本地硬盤獲取所述第二文件，以利用所述第二文件進行模型訓練。