[發明專利]基于大數據的數據處理方法及裝置

在審

• 申請號: 201910525331.X
• 申請日: 2019-06-18
• 公開（公告）號: CN110321329A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 周朝衛;劉壘
• 申請（專利權）人: 中盈優創資訊科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/17;G06F16/11;G06F16/182
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;任默聞

本申請實施例提供一種基于大數據的數據處理方法及裝置，方法包括：對目標目錄下的原始目標文件進行數據清洗，得到至少一個第一目標文件；根據每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，其中，每個組合中的所有第一目標文件的文件大小的和不超過第一預設基準數值且組合的個數為所有可能的個數中的最小值；將每個排列組合中的所有第一目標文件進行文件合并，得到第二目標文件，其中，所述第二目標文件對應設置有一個分布式文件系統的數據塊；本申請能夠使海量數據的存儲效率更高、資源分配更加合理以及后續計算性能更優。

技術領域

本申請涉及數據處理領域，具體涉及一種基于大數據的數據處理方法及裝置。

背景技術

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構，用戶可以在不了解分布式底層細節的情況下，開發分布式程序，進而能夠充分利用集群的整體性進行高速運算和存儲，Hadoop的框架最核心的設計就是：HDFS(Hadoop Distributed File System，分布式文件系統)和MapReduce。HDFS為海量的數據提供了存儲，而MapReduce則為海量的數據提供了計算。

相關技術中對數據進行文件存儲時的存儲效率較低，數據量較小的文件也占用了一個單獨的HDFS數據塊，資源分配不合理，使得整個HDFS集群具有的數據塊數量過多，影響了后續數據計算的運算效率。

因此，亟需一種基于大數據的數據處理方法及裝置，以解決相關技術中文件存儲效率較低，資源分配不合理，影響后續數據計算的運算效率的技術問題。

發明內容

針對現有技術中的問題，本申請提供一種基于大數據的數據處理方法及裝置，能夠使海量數據的存儲效率更高、資源分配更加合理以及后續計算性能更優。

為解決上述技術問題，本申請提供以下技術方案：

第一方面，本申請提供一種基于大數據的數據處理方法，包括：

對目標目錄下的原始目標文件進行數據清洗，得到至少一個第一目標文件；

根據每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，其中，每個組合中的所有第一目標文件的文件大小的和不超過第一預設基準數值且組合的個數為所有可能的個數中的最小值；

將每個排列組合中的所有第一目標文件進行文件合并，得到第二目標文件，其中，所述第二目標文件對應設置有一個分布式文件系統的數據塊。

進一步地，所述對目標目錄下的原始目標文件進行數據清洗，得到至少一個第一目標文件，包括：

根據所述原始目標文件的文件生成時間和原始目標文件進入目標目錄的文件入庫時間，建立與所述目標目錄對應的臨時目錄；

對目標目錄下的原始目標文件進行數據清洗，得到至少一個第一目標文件；

將經過數據清洗后得到的至少一個第一目標文件存儲至所述臨時目錄中。

進一步地，所述根據每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，包括：

創建存儲的文件大小為第一預設基準數值的存儲空間；

將一所述第一目標文件存儲至所述存儲空間中；

獲取另一個第一目標文件，將所述另一個第一目標文件存儲至已有的存儲空間中，若存儲失敗，則重新創造一個所述存儲空間并將所述另一個第一目標文件存儲至所述存儲空間中，重復獲取另一個第一目標文件直至所有第一目標文件均存儲至存儲空間；

將每個存儲空間中的至少一個第一目標文件作為一個組合。

進一步地，所述根據每個所述第一目標文件的文件大小，將所有所述第一目標文件分為多個組合，包括：