[發明專利]大批量文件處理方法、裝置、設備及存儲介質

在審

• 申請號: 202210039922.8
• 申請日: 2022-01-13
• 公開（公告）號: CN114461575A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 鄭煜宇
• 申請（專利權）人: 驟雨灣（武漢）技術服務有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 鐘永翠

1.一種大批量文件處理方法，其特征在于，所述大批量文件處理方法包括：

根據若干待處理文件創建文件索引；

獲取預設協程數量N；

根據所述預設協程數量N對所述文件索引進行分片，得到N個文件索引分片；

以所述預設協程數量N為循環次數啟動協程；

在目標循環過程中獲取對應的目標文件索引分片，對所述目標文件索引分片對應的多個待處理文件進行處理。

2.如權利要求1所述的大批量文件處理方法，其特征在于，所述根據所述預設協程數量N對所述文件索引進行分片，得到N個文件索引分片，包括：

確定所述文件索引中待處理文件總數；

判斷所述待處理文件總數是否能被所述預設協程數量N整除；

若是，則根據所述預設協程數量N對所述文件索引進行平均分片，得到N個文件索引分片。

3.如權利要求2所述的大批量文件處理方法，其特征在于，所述判斷所述待處理文件總數是否能被所述預設協程數量N整除之后，所述方法還包括：

若否，則根據所述待處理文件總數以及所述所述預設協程數量N確定預估平均數；

根據所述預估平均數對所述文件索引進行分片，得到N個文件索引分片，其中，前N-1個文件索引分片對應的待處理文件個數與所述預估平均數一致。

4.如權利要求1所述的大批量文件處理方法，其特征在于，所述根據若干待處理文件創建文件索引，包括：

讀取待處理文件的根目錄；

遍歷所述根目錄對應的子路徑；

判斷遍歷到的子路徑是否為目錄路徑；

若否，則將遍歷到的子路徑保存至切片，得到文件索引。

5.如權利要求1所述的大批量文件處理方法，其特征在于，所述獲取預設協程數量N，包括：

獲取用戶輸入的效率提升指令；

根據所述效率提升指令確定對應的預設協程數量N。

6.如權利要求1-5中任一項所述的大批量文件處理方法，其特征在于，所述獲取預設協程數量N之后，所述方法還包括：

獲取協程開啟數目a；

根據所述預設協程數量N以及所述協程開啟數目a對所述文件索引進行分片，得到a*N個文件索引分片；

以所述預設協程數量N為循環次數同步開啟a個協程；

在當前循環過程中獲取對應的a個文件索引分片，在所述a個協程中分別對所述a個文件索引分片對應的多個待處理文件進行處理。

7.如權利要求6所述的大批量文件處理方法，其特征在于，所述獲取協程開啟數目a，包括：

獲取運行性能信息；

根據所述運行性能信息確定對應的協程開啟數目a。

8.一種大批量文件處理裝置，其特征在于，所述大批量文件處理裝置包括：

創建模塊，用于根據若干待處理文件創建文件索引；

獲取模塊，用于獲取預設協程數量N；

分片模塊，用于根據所述預設協程數量N對所述文件索引進行分片，得到N個文件索引分片；

啟動模塊，用于以所述預設協程數量N為循環次數啟動協程；

處理模塊，用于在目標循環過程中獲取對應的目標文件索引分片，對所述目標文件索引分片對應的多個待處理文件進行處理。

9.一種大批量文件處理設備，其特征在于，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的大批量文件處理程序，所述大批量文件處理程序配置為實現如權利要求1至7中任一項所述的大批量文件處理方法。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有大批量文件處理程序，所述大批量文件處理程序被處理器執行時實現如權利要求1至7任一項所述的大批量文件處理方法。