[發(fā)明專利]基于大數(shù)據(jù)的數(shù)據(jù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201910525331.X
• 申請日: 2019-06-18
• 公開（公告）號: CN110321329A
• 公開（公告）日: 2019-10-11
• 發(fā)明（設計）人: 周朝衛(wèi);劉壘
• 申請（專利權(quán)）人: 中盈優(yōu)創(chuàng)資訊科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/17;G06F16/11;G06F16/182
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;任默聞

1.一種基于大數(shù)據(jù)的數(shù)據(jù)處理方法，其特征在于，包括：

對目標目錄下的原始目標文件進行數(shù)據(jù)清洗，得到至少一個第一目標文件；

根據(jù)每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，其中，每個組合中的所有第一目標文件的文件大小的和不超過第一預設基準數(shù)值且組合的個數(shù)為所有可能的個數(shù)中的最小值；

將每個排列組合中的所有第一目標文件進行文件合并，得到第二目標文件，其中，所述第二目標文件對應設置有一個分布式文件系統(tǒng)的數(shù)據(jù)塊。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述對目標目錄下的原始目標文件進行數(shù)據(jù)清洗，得到至少一個第一目標文件，包括：

根據(jù)所述原始目標文件的文件生成時間和原始目標文件進入目標目錄的文件入庫時間，建立與所述目標目錄對應的臨時目錄；

對目標目錄下的原始目標文件進行數(shù)據(jù)清洗，得到至少一個第一目標文件；

將經(jīng)過數(shù)據(jù)清洗后得到的至少一個第一目標文件存儲至所述臨時目錄中。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，包括：

創(chuàng)建存儲的文件大小為第一預設基準數(shù)值的存儲空間；

將一所述第一目標文件存儲至所述存儲空間中；

獲取另一個第一目標文件，將所述另一個第一目標文件存儲至已有的存儲空間中，若存儲失敗，則重新創(chuàng)造一個所述存儲空間并將所述另一個第一目標文件存儲至所述存儲空間中，重復獲取另一個第一目標文件直至所有第一目標文件均存儲至存儲空間；

將每個存儲空間中的至少一個第一目標文件作為一個組合。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，包括：

判斷所述第一目標文件的文件大小是否大于第二預設基準數(shù)值，其中，第二預設基準數(shù)值小于第一預設基準數(shù)值；

若是，則將每個大于第二預設基準數(shù)值的第一目標文件分別作為一個組合；

若否，創(chuàng)建存儲的文件大小為第一預設基準數(shù)值的存儲空間；

將一小于等于第二預設基準數(shù)值的第一目標文件存儲至所述存儲空間中；

獲取另一個小于等于第二預設基準數(shù)值的第一目標文件，將所述另一個小于等于第二預設基準數(shù)值的第一目標文件存儲至已有的存儲空間中，若存儲失敗，則重新創(chuàng)造一個所述存儲空間并將所述另一個小于等于第二預設基準數(shù)值的第一目標文件存儲至所述存儲空間中，重復獲取另一個小于等于第二預設基準數(shù)值的第一目標文件直至所有小于等于第二預設基準數(shù)值的第一目標文件均存儲至存儲空間；

將每個存儲空間中的至少一個第一目標文件作為一個組合。

5.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述對目標目錄下的原始目標文件進行數(shù)據(jù)清洗，得到至少一個第一目標文件，包括：

對所述目標目錄下的原始目標文件進行數(shù)據(jù)清洗，根據(jù)所述原始目標文件的文件大小、第一預設基準數(shù)值以及數(shù)據(jù)清洗過程中文件格式轉(zhuǎn)換的數(shù)據(jù)壓縮比，得到至少一個所述第一目標文件。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述原始目標文件的文件大小、第一預設基準數(shù)值以及數(shù)據(jù)清洗過程中文件格式轉(zhuǎn)換的數(shù)據(jù)壓縮比，得到至少一個所述第一目標文件，包括：

根據(jù)所述原始目標文件的文件大小、第一預設基準數(shù)值以及數(shù)據(jù)清洗過程中文件格式轉(zhuǎn)換的數(shù)據(jù)壓縮比得到所述第一目標文件的壓縮個數(shù)；

將經(jīng)過數(shù)據(jù)清洗后的所述原始目標文件的文件格式轉(zhuǎn)換為列式存儲格式，得到至少一個所述第一目標文件，其中，所述第一目標文件的個數(shù)小于等于所述壓縮個數(shù)。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，還包括：

所述第一目標文件的文件名稱中包含所述原始目標文件存儲至目標目錄時對應的文件入庫時間和第一目標文件對應的原始目標文件的文件生成時間對應的時間標識；

根據(jù)所述文件入庫時間和所述時間標識，得到所述原始目標文件的數(shù)據(jù)錄入延遲信息。