[發明專利]一種數據解析方法及裝置

在審

• 申請號: 202010121236.6
• 申請日: 2020-02-26
• 公開（公告）號: CN111338800A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 石剛;陳天立;李適季;秦偉
• 申請（專利權）人: 深圳市優網科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲

本申請公開了一種數據解析方法及裝置，在降低了解析成本的同時也提高了解析結果的實時性和準確性。該方法包括：在獲取到待解析的目標數據后，首先判斷目標數據是否滿足預設分割條件，若是，則根據預設分割規則進行任務分割，獲得分割結果；然后再根據分割結果，利用其它子節點對目標數據進行協助解析處理，獲得解析結果，并在當再次滿足預設分割條件時，利用更多的子節點同時對目標數據進行協助解析，以獲得更加實時、準確的解析結果。

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據解析方法及裝置。

背景技術

隨著移動互聯網技術的高速發展，網絡數據量呈現井噴狀態，及時對各種類型數據進行實時分析，實現各種指數和數據的運算，已經是網絡應用中的一項重要內容。

目前常用的數據解析方式是將所有任務都由中心節點服務器來統一進行任務調度，但在數據量越來越多且單臺機器處理能力無法滿足時，中心服務器并不知道需要多少臺機器協同處理一個任務比較合適.或者需要人工指定申請多少資源，這樣既不能合理地分配集群資源，同時又增加了維護人員的工作負擔，并且由于把任務全部由中心服務器調度，間接增加了網絡IO的延時和通訊次數，實時性效率難以得到保障。因此，現有的由中心節點服務器來統一進行任務調度的數據解析方式，解析成本高、效率低、維護困難。并且，解析結果也不夠準確。

發明內容

有鑒于此，本發明提供一種數據解析方法及裝置，以解決現有技術中數據解析成本高、效率低、維護困難以及解析結果不準確的技術問題。

為解決上述問題，本發明提供的技術方案如下：

第一方面，本申請實施例提供了一種數據解析方法，包括：

獲取待解析的目標數據；

當所述目標數據滿足預設分割條件時，根據預設分割規則進行任務分割，獲得分割結果；

根據所述分割結果，對所述目標數據進行協助解析處理，獲得解析結果；

當再次滿足預設分割條件時，返回根據預設分割規則進行任務分割，并執行后續步驟。

可選的，所述預設分割條件為單位數據粒度的解析時長大于單位粒度生產時長的80％。

可選的，所述當所述目標數據滿足預設分割條件時，根據預設分割規則進行任務分割，獲得分割結果，包括：

當所述目標數據滿足預設分割條件時，確定參加數據解析的子節點；

確定主節點和所述子節點的文件識別碼；

計算所述目標數據中各個文件的HashCode；

根據所述HashCode和所述文件識別碼確定所述HashCode所屬文件是否在當前節點進行處理，以便確定是否利用當前節點對所述文件進行數據解析。

可選的，所述根據所述HashCode和所述文件識別碼確定所述HashCode所屬文件是否在當前節點進行處理，以便確定是否利用當前節點對所述文件進行數據解析，包括：

將所述HashCode和節點總數進行取余運算，得到余數；

判斷所述余數與所述文件識別碼是否相同；

若是，則確定所述HashCode所屬文件是在當前節點進行處理，以便確定利用當前節點對所述文件進行數據解析；

如否，則確定所述HashCode所屬文件不是在當前節點進行處理。

可選的，所述方法還包括：

當滿足預設合并條件時，根據預設合并規則進行子節點合并，獲得合并結果；

根據所述合并結果，對所述目標數據進行解析處理，獲得解析結果。