[發明專利]一種基于分布式的二進制數據分類處理方法和系統

有效

• 申請號: 202011494936.6
• 申請日: 2020-12-17
• 公開（公告）號: CN112559482B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 谷昊遠;馬建雄;蘇天翔
• 申請（專利權）人: 中國電子科技集團公司第五十二研究所
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/16
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于分布式的二進制數據分類處理方法和系統，方法包括：接收待分類的二進制文件以及與二進制文件對應的二進制格式配置文件；按照所述分片規格對二進制文件中的二進制數據進行分片操作，得到多個分片并對所有分片進行順序編號；對多個分片進行并行解析，生成對應每一分片的一組“數據類型?數據內容”鍵值對；根據“數據類型?數據內容”鍵值對，將相同數據類型的數據內容歸為一類；將不同類別的數據內容寫入不同的新的二進制文件中，完成二進制文件中二進制數據的分類處理。本發明實現對多種數據類型混合存儲的二進制文件的快速解析分類。

技術領域

本申請屬于數據處理技術領域，具體涉及一種基于分布式的二進制數據分類處理方法和系統。

背景技術

二進制文件是按二進制的編碼方式來存放數據的文件。二進制數據存儲具有存儲速度快，占用空間小、具備一定保密性等優點；因此二進制數據也被廣泛的應用于軍事，加密等領域。隨著二進制文件中數據量不斷變大、數據種類不斷增多、混合存儲結構越來越復雜，對二進制文件中數據的分類解析的效率要求也越來越高。

現有的二進制數據分類方法多基于單個機器的串行式解析運算，該方法是對每個二進制文件從頭到尾按序解析，該方法計算速度慢、效率低，當二進制文件達到GB或者TB級時要花費數天時間完成數據分析。

發明內容

本申請的目的在于提供一種基于分布式的二進制數據分類處理方法和系統，實現對多種數據類型混合存儲的二進制文件的快速解析分類。

為實現上述目的，本申請所采取的技術方案為：

一種基于分布式的二進制數據分類處理方法，用于雷達數據的分類存儲，所述基于分布式的二進制數據分類處理方法，包括：

步驟1、接收待分類的二進制文件以及與所述二進制文件對應的二進制格式配置文件，所述二進制格式配置文件中包括分片規格、數據循環精度以及對應的二進制文件中存儲的二進制數據的數據類型、每種數據類型對應的數據長度和數據格式；

步驟2、按照所述分片規格對所述二進制文件中的二進制數據進行分片操作，得到多個分片并對所有分片進行順序編號；

步驟3、對多個分片進行并行解析，生成對應每一分片的一組“數據類型-數據內容”鍵值對；

步驟4、根據所述“數據類型-數據內容”鍵值對，將相同數據類型的數據內容歸為一類；

步驟5、將不同類別的數據內容寫入不同的新的二進制文件中，完成所述二進制文件中二進制數據的分類處理。

以下還提供了若干可選方式，但并不作為對上述總體方案的額外限定，僅僅是進一步的增補或優選，在沒有技術或邏輯矛盾的前提下，各可選方式可單獨針對上述總體方案進行組合，還可以是多個可選方式之間進行組合。

作為優選，所述步驟3，對分片操作得到的多個分片進行并行解析，生成對應每一分片的一組“數據類型-數據內容”鍵值對，包括：

步驟3.1、確定每一分片中的預估斷點；

步驟3.2、每一分片由所述預估斷點起，根據二進制文件中每種數據類型對應的數據長度和數據格式，不斷匹配數據長度和數據格式，提取出所述分片中的每一條二進制數據，根據每一條二進制數據的數據類型將每一條二進制數據映射為“數據類型-數據內容”鍵值對；

步驟3.3、取每一分片中的最后一條二進制數據，根據該二進制數據的末尾字節，確定當前分片對應的下一分片的真實斷點。

作為優選，所述步驟3.1，確定每一分片中的預估斷點，包括：

步驟3.1.1、若矯正標志未設置，則取多個分片中編號位于首位的分片作為首位分片，首位分片的第一個字節為預估斷點，該預估斷點同時為真實斷點；若矯正標志已設置，則取首位分片中的真實斷點，并更新預估斷點為該真實斷點；