[發明專利]一種機載二進制文件通用并行的解析方法、裝置及電子設備

有效

• 申請號: 202111301418.2
• 申請日: 2021-11-04
• 公開（公告）號: CN113742298B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 章異敏
• 申請（專利權）人: 南京芯傳匯電子科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種機載二進制文件通用并行的解析方法、裝置及電子設備，涉及計算機數據處理技術領域；其方法包括分別配置不同文件類型二進制文件的存儲結構，包括配置二進制文件的文件頭、包含的數據塊，以及數據塊的數據結構、數據類型和轉換函數；根據配置信息讀取數據塊，附加主題信息和時間戳標簽后發送至消息隊列，以便消息隊列的消費端并行獲取隊列中的數據塊，并根據主題信息獲取數據塊的數據結構、數據類型及其對應的轉換函數，解析數據并保存至文本文件。通過圖形化配置實現自定義文件解析規則，實現對不同機型的二進制文件的通用化并行解析；并采用消息隊列將二進制文件解析分解為數據塊生產和數據解析消費，極大的縮短大文件解析時間。

技術領域

本發明涉及計算機數據處理技術領域，具體涉及一種機載二進制文件通用并行的解析方法、裝置及電子設備。

背景技術

在飛機飛行期間，機載設備記錄了飛機運行時來自于傳感器、雷達等設備發送過來的大量數據，這類數據具有數據量大、存儲頻次高等特點。而機載設備大都是嵌入式設備，這些設備的存儲資源、計算能力都收到限制，所以業界通用的做法都是將這些數據按照自定義數據結構直接存儲在二進制文件中，待飛機落地后再下載到地面的數據中心，通過數據處理軟件進行解析、轉換為可讀的半結構化文件。

目前機載設備繁多，同一種機載設備在不同的機型中存儲的二進制文件數據結構也不相同，沒有一個統一的標準。當前系統通常會提供機載設備的數據格式描述文件，一般為excel或xml文件，這些描述文件定義了數據塊的數據類型、長度、大小端類型等，解析處理軟件在讀取數據塊后根據描述文件對數據塊進行解析，并根據數據類型進行一對一轉換。這種方式需要針對指定的描述文件進行定制化處理，導致大量的重復低效工作。

隨著數據中心中云計算和大數據技術發展，傳統的單機數據處理方式在應對大文件解析時效率非常低，不能有效利用數據中心的分布式處理能力來提高處理效率。

發明內容

本發明目的在于提供一種機載二進制文件通用并行的解析方法、裝置及電子設備，解決傳統的單機數據處理方式在應對大文件解析時效率非常低、不能有效利用數據中心的分布式處理能力來提高處理效率的技術問題。

為達成上述目的，本發明提出如下技術方案：一種機載二進制文件通用并行的解析方法，包括：

分別配置不同文件類型二進制文件的文件結構，包括配置二進制文件的文件頭、包含的數據塊、數據塊的數據結構、數據塊的數據類型及其對應的轉換函數；

根據二進制文件的配置信息讀取待解析二進制文件中的數據塊，逐個附加主題信息和時間戳標簽后發送至消息隊列，以便消息隊列的消費端并行獲取消息隊列中的數據塊，并根據數據塊的主題信息獲取數據塊的數據結構、數據類型及其對應的轉換函數，進而依據配置的二進制文件的文件結構解析上述二進制文件的數據并保存至文本文件。

進一步的，所述配置二進制文件的文件結構包括：

配置數據類型，包括指定數據類型的名稱、數據讀取的字節長度和數據解析返回類型；

配置數據解析腳本，并指定測試樣例，以便測試數據解析腳本按期望正確執行；其中，測試成功的數據類型可被數據塊引用；

配置數據塊，包括添加字段、定義字段名稱、支持的數據類型和描述信息；

配置文件結構，包括文件頭及文件體；所述文件頭置空或配置一特定數據類型的數據塊，所述文件體配置一種或者多種數據塊；其中，所述文件體配置多種數據塊時，任一數據塊定義有固定值字段。

進一步的，所述根據二進制文件的配置信息讀取待解析二進制文件中的數據塊為根據指定的文件類型以及文件大小進行數據讀取，并將讀取的數據進行消息發布，包括：

根據指定的文件類型，選擇文件智能識別策略；