[發明專利]一種海量小文件快速識別處理的方法及系統

在審

• 申請號: 201710885836.8
• 申請日: 2017-09-27
• 公開（公告）號: CN107657020A
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 魏曉林
• 申請（專利權）人: 上海斐訊數據通信技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州千克知識產權代理有限公司33246
• 代理人: 周希良,吳輝輝

技術領域

本發明涉及到計算機數據處理領域，尤其涉及一種海量小文件快速識別處理的方法及系統

背景技術

當今互聯網，數據呈現爆炸式增長，社交網絡、移動通信、網絡視頻、電子商務等各種應用往往能產生億級甚至十億、百億級的海量小文件。隨著移動終端設備上的應用越來越多，服務器要處理的小文件數量越來越龐大。

在對海量小文件進行處理時，大量小文件都是在一個文件夾下存放，采用多線程處理，往往是單個線程處理一個文件夾下的文件，將單個文件夾下的全部文件讀入內存后再進行后期處理。

正則匹配對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規則字符串”，這個“規則字符串”用來表達對字符串的一種過濾邏輯。通過正則匹配，可以定義對不同文件進行篩選和提取。

公開號為CN106951529A的專利提供了一種海量小文件的管理方法及系統，包括接收待存儲的文件；判斷所述文件的大小是否低于預設存儲值，如果是，則判定為小文件；確定小文件的元數據文件，并將小文件的元數據保存在元數據存儲單元；將小文件合并至與元數據存儲單元一一對應的大文件中，直至大文件達到預設存儲值再存儲大文件及其對應的元數據存儲單元。該發明通過判斷文件是否達到預設存儲值來存儲管理小文件，無法對小文件進行分類，將存儲的小文件進行篩選提取，發送給后臺服務器進行處理。

發明內容

一種海量小文件快速識別處理的方法，包括步驟：

S1：通過預設的命名規則，以時間戳為生成的小文件命名，并將預設時間段內生成的小文件統一保存至文件夾中；

S2：將所述時間段分為各個時間點，根據預設的正則匹配法，提取出所述文件夾中與所述時間點匹配的小文件；

S3：將所述提取的小文件發送至后臺服務器進行數據處理。

進一步的，步驟S1還包括步驟：

接收預設的命名規則，所述時間戳為設備當前顯示的機器時間。

進一步的，還包括步驟：

將預設的時間段分為各個時間點，通過所述時間點當前時間的數字號碼標識該時間點。

進一步的，還包括步驟：

根據預設的正則匹配法，將所述時間點與所述小文件名稱中的時間戳對比，當該時間戳與所述時間點名稱匹配時，提取出以該時間戳命名的小文件。

進一步的，所述步驟S3還包括步驟：

根據提取的小文件的名稱中的時間戳，按照時間戳的時間先后順序，將其發送至后臺服務器依次進行數據處理。

一種海量小文件快速識別處理的系統，包括：

存儲模塊：用于通過預設的命名規則，以時間戳為生成的小文件命名，并將預設時間段內生成的小文件統一保存至文件夾中；

提取模塊：用于將所述時間段分為各個時間點，根據預設的正則匹配法，提取出所述文件夾中與所述時間點匹配的小文件；

發送模塊：用于將所述提取的小文件發送至后臺服務器進行數據處理。

進一步的，所述存儲模塊還包括：

命名單元：用于接收預設的命名規則，所述時間戳為設備當前顯示的機器時間。

進一步的，還包括：

標識模塊：用于將預設的時間段分為各個時間點，通過所述時間點當前時間的數字號碼標識該時間點。

進一步的，還包括：

對比模塊：用于根據預設的正則匹配法，將所述時間點與所述小文件名稱中的時間戳對比，當該時間戳與所述時間點名稱匹配時，提取出以該時間戳命名的小文件。

進一步的，所述發送模塊還包括：

排序單元：用于根據提取的小文件的名稱中的時間戳，按照時間戳的時間先后順序，將其發送至后臺服務器依次進行數據處理。

采用本發明，對移動終端發送的小文件進行正則匹配，按時間順序篩選提取出一個時間段按時間順序生成的小文件，依次發送給后臺服務器進行處理，實現了海量小文件處理的及時性，解決了小文件在處理過程中被滯后的問題。

附圖說明

圖1是實施例一提供的一種海量小文件快速識別處理的方法流程圖；

圖2是實施例一提供的一種海量小文件快速識別處理的系統結構圖；

圖3是實施例二提供的一種海量小文件快速識別處理的方法流程圖；

圖4是實施例二提供的一種海量小文件快速識別處理的系統結構圖。

具體實施方式

以下是本發明的具體實施例并結合附圖，對本發明的技術方案作進一步的描述，但本發明并不限于這些實施例。