[發明專利]一種數據集文件壓縮方法及裝置

在審

• 申請號: 202011025923.4
• 申請日: 2020-09-25
• 公開（公告）號: CN112084158A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 賈利陽;王磊
• 申請（專利權）人: 北京百家科技集團有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/14;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種數據集文件壓縮方法，其特征在于，包括：

獲取待壓縮的數據集文件；

從預設的壓縮線程池中確定目標空閑線程；

通過所述目標空閑線程對所述數據集文件進行并行壓縮處理，得到壓縮文件。

2.根據權利要求1所述的數據集文件壓縮方法，其特征在于，所述獲取待壓縮的數據集文件，包括：

獲取待壓縮的數據存儲路徑；

判斷所述數據存儲路徑是否合法；

如果是，則獲取所述數據存儲路徑上存儲的所有文件數據，得到數據集文件。

3.根據權利要求1所述的數據集文件壓縮方法，其特征在于，所述壓縮線程池包括的線程數量為CPU核心數。

4.根據權利要求2所述的數據集文件壓縮方法，其特征在于，所述通過所述目標空閑線程對所述數據集文件進行并行壓縮處理，得到壓縮文件之后，所述方法還包括：

獲取所述數據集文件的壓縮狀態信息；其中，所述壓縮狀態信息包括所述文件數據的文件標識以及所述文件標識對應的表示壓縮是否成功的狀態信息；

輸出所述壓縮狀態信息。

5.根據權利要求2所述的數據集文件壓縮方法，其特征在于，所述方法還包括：

在所述數據存儲路徑上存儲所述壓縮文件，并刪除所述數據集文件。

6.根據權利要求5所述的數據集文件壓縮方法，其特征在于，在所述刪除所述數據集文件之后，所述方法還包括：

接收包括所述數據存儲路徑的數據庫查詢指令；

根據所述數據庫查詢指令對所述數據存儲路徑上存儲的所述壓縮文件直接進行查詢操作，得到查詢結果。

7.一種數據集文件壓縮裝置，其特征在于，所述數據集文件壓縮裝置包括：

文件獲取模塊，用于獲取待壓縮的數據集文件；

線程確定模塊，用于從預設的壓縮線程池中確定目標空閑線程；

壓縮模塊，用于通過所述目標空閑線程對所述數據集文件進行并行壓縮處理，得到壓縮文件。

8.根據權利要求7所述的數據集文件壓縮裝置，其特征在于，所述文件獲取模塊包括：

獲取子模塊，用于獲取待壓縮的數據存儲路徑；

判斷子模塊，用于判斷所述數據存儲路徑是否合法；

所述獲取子模塊，還用于在判斷子模塊判斷出所述數據存儲路徑合法時，則獲取所述數據存儲路徑上存儲的所有文件數據，得到數據集文件。

9.一種電子設備，其特征在于，所述電子設備包括存儲器以及處理器，所述存儲器用于存儲計算機程序，所述處理器運行所述計算機程序以使所述電子設備執行權利要求1至6中任一項所述的數據集文件壓縮方法。

10.一種可讀存儲介質，其特征在于，所述可讀取存儲介質中存儲有計算機程序指令，所述計算機程序指令被一處理器讀取并運行時，執行權利要求1至6任一項所述的數據集文件壓縮方法。