[發明專利]一種數據獲取方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010030600.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111258965A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 余虹建;李錦豐
• 申請（專利權）人: 北京獵豹移動科技有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 祁獻民

1.一種數據獲取方法，其特征在于，包括：

確定訓練數據集所需的數據存儲空間與內存剩余空間的大小關系；

在所述數據存儲空間大于所述內存剩余空間的情況下，根據預設策略，在所述訓練數據集中選擇至少一個文件為目標文件；

在所述目標文件首次被讀取后，將所述目標文件保留在內核的頁緩存中，以便將來再次讀取所述目標文件時從所述內核的頁緩存中獲取所述目標文件。

2.根據權利要求1所述的方法，其特征在于，所述預設策略包括：

將所述訓練數據集中文件大小小于第一閾值的文件作為所述目標文件；

或者，

根據所述訓練數據集中各文件的文件大小以及所述內存剩余空間，確定所述目標文件，以使所述目標文件的數量大于第二閾值，和/或以使所述目標文件保留在內核的頁緩存中后，所述內存剩余空間小于第三閾值。

3.根據權利要求1所述的方法，其特征在于，所述在所述目標文件首次被讀取后，將所述目標文件保留在內核的頁緩存中包括：

從所述訓練數據集中讀取第一文件；

確定所述第一文件是否為首次讀取的所述目標文件；

在所述第一文件為首次讀取的所述目標文件的情況下，為所述第一文件添加預設標記，以使虛擬文件系統VFS根據所述預設標記，將所述第一文件保留在內核的頁緩存中。

4.根據權利要求1所述的方法，其特征在于，所述將所述目標文件保留在內核的頁緩存中之后，所述方法還包括：

接收從所述訓練數據集中讀取第二文件的指令；

在內核的頁緩存中查找所述第二文件；

在查找到所述第二文件的情況下，從所述內核的頁緩存中獲取所述第二文件，以利用所述第二文件進行模型訓練；

在未查找到所述第二文件的情況下，從遠端服務器獲取所述第二文件，以利用所述第二文件進行模型訓練。

5.根據權利要求4所述的方法，其特征在于，還包括：

將所述訓練數據集緩存在本地硬盤；

在未查找到所述第二文件的情況下，從本地硬盤獲取所述第二文件，以利用所述第二文件進行模型訓練。

6.根據權利要求1至5中任一項所述的方法，其特征在于，所述確定訓練數據集所需的數據存儲空間與內存剩余空間的大小關系之前，所述方法還包括：清空內存。

7.一種數據獲取裝置，其特征在于，包括：

確定單元，用于確定訓練數據集所需的數據存儲空間與內存剩余空間的大小關系；

選擇單元，用于在所述數據存儲空間大于所述內存剩余空間的情況下，根據預設策略，在所述訓練數據集中選擇至少一個文件為目標文件；

保留單元，用于在所述目標文件首次被讀取后，將所述目標文件保留在內核的頁緩存中，以便將來再次讀取所述目標文件時從所述內核的頁緩存中獲取所述目標文件。

8.根據權利要求7所述的裝置，其特征在于，所述預設策略包括：

將所述訓練數據集中文件大小小于第一閾值的文件作為所述目標文件；

或者，

根據所述訓練數據集中各文件的文件大小以及所述內存剩余空間，確定所述目標文件，以使所述目標文件的數量大于第二閾值，和/或以使所述目標文件保留在內核的頁緩存中后，所述內存剩余空間小于第三閾值。

9.根據權利要求7所述的裝置，其特征在于，所述保留單元包括：

讀取模塊，用于從所述訓練數據集中讀取第一文件；

確定模塊，用于確定所述第一文件是否為首次讀取的所述目標文件；

添加模塊，用于在所述第一文件為首次讀取的所述目標文件的情況下，為所述第一文件添加預設標記，以使虛擬文件系統VFS根據所述預設標記，將所述第一文件保留在內核的頁緩存中。

10.根據權利要求7所述的裝置，其特征在于，還包括：

接收單元，用于在將所述目標文件保留在內核的頁緩存中之后，接收從所述訓練數據集中讀取第二文件的指令；

查找單元，用于在內核的頁緩存中查找所述第二文件；

獲取單元，用于在查找到所述第二文件的情況下，從所述內核的頁緩存中獲取所述第二文件，以利用所述第二文件進行模型訓練；在未查找到所述第二文件的情況下，從遠端服務器獲取所述第二文件，以利用所述第二文件進行模型訓練。