[發明專利]大批量文件處理方法、裝置、設備及存儲介質

在審

• 申請號: 202210039922.8
• 申請日: 2022-01-13
• 公開（公告）號: CN114461575A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 鄭煜宇
• 申請（專利權）人: 驟雨灣（武漢）技術服務有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 鐘永翠

本發明屬于計算機技術領域，公開了一種大批量文件處理方法、裝置、設備及存儲介質。該方法包括：根據若干待處理文件創建文件索引；獲取預設協程數量N；根據預設協程數量N對文件索引進行分片，得到N個文件索引分片；以預設協程數量N為循環次數啟動協程；在目標循環過程中獲取對應的目標文件索引分片，對目標文件索引分片對應的多個待處理文件進行處理。通過上述方式，對大批量文件進行分片，使用協程對各個分片對應的文件進行處理，達到異步處理的效果，從而大幅度提升運算效率，避免了持續占用計算機資源。

技術領域

本發明涉及計算機技術領域，尤其涉及一種大批量文件處理方法、裝置、設備及存儲介質。

背景技術

目前大部分進行文件處理的實現方式都以單線程為主，在文件數量較小的前提下能滿足處理需求，但在面對大批量文件都需要進行處理的場景下，單線程的方案會持續占據計算機資源，且未將計算機的性能完全發揮，所需處理文件的時間也很長。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種大批量文件處理方法、裝置、設備及存儲介質，旨在解決現有單線程處理文件的方式在面對大批量文件時持續占用計算機資源，處理時間太長的技術問題。

為實現上述目的，本發明提供了一種大批量文件處理方法，所述方法包括以下步驟：

根據若干待處理文件創建文件索引；

獲取預設協程數量N；

根據所述預設協程數量N對所述文件索引進行分片，得到N個文件索引分片；

以所述預設協程數量N為循環次數啟動協程；

在目標循環過程中獲取對應的目標文件索引分片，對所述目標文件索引分片對應的多個待處理文件進行處理。

可選地，所述根據所述預設協程數量N對所述文件索引進行分片，得到N個文件索引分片，包括：

確定所述文件索引中待處理文件總數；

判斷所述待處理文件總數是否能被所述預設協程數量N整除；

若是，則根據所述預設協程數量N對所述文件索引進行平均分片，得到N個文件索引分片。

可選地，所述判斷所述待處理文件總數是否能被所述預設協程數量N整除之后，所述方法還包括：

若否，則根據所述待處理文件總數以及所述所述預設協程數量N確定預估平均數；

根據所述預估平均數對所述文件索引進行分片，得到N個文件索引分片，其中，前N-1個文件索引分片對應的待處理文件個數與所述預估平均數一致。

可選地，所述根據若干待處理文件創建文件索引，包括：

讀取待處理文件的根目錄；

遍歷所述根目錄對應的子路徑；

判斷遍歷到的子路徑是否為目錄路徑；

若否，則將遍歷到的子路徑保存至切片，得到文件索引。

可選地，所述獲取預設協程數量N，包括：

獲取用戶輸入的效率提升指令；

根據所述效率提升指令確定對應的預設協程數量N。

可選地，所述獲取預設協程數量N之后，所述方法還包括：

獲取協程開啟數目a；

根據所述預設協程數量N以及所述協程開啟數目a對所述文件索引進行分片，得到a*N個文件索引分片；