[發明專利]一種時序網絡數據集的規則化分散及收攏方法

在審

• 申請號: 202110198806.6
• 申請日: 2021-02-22
• 公開（公告）號: CN114969137A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 史興國;陳光宇;楊垂柏
• 申請（專利權）人: 蘇州超塊鏈信息科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種時序網絡數據集的規則化分散及收攏方法，其步驟包括：1)將用于存儲分布式時序數據集的數據結構中各個數據序列、依據對應的封裝算法規則進行封裝；封裝后的數據序列的數據塊至少包括數據塊的類型、數據塊所在數據序列的標志、數據塊的封裝時序標識、數據塊中具體的業務數據負載；2)當時序數據集基于具體業務場景不斷增長，達到分散觸發條件時，數據序列By裂變分出數據序列Bys；3)當時序數據集基于具體業務場景不斷增長，達到收攏觸發條件時，數據序列Bys向數據序列By匯集融入數據序列By。本發明可以實現快速、明確的進行新增數據集分散，從而實現數據集靈活處理。

技術領域

本發明涉及計算機技術及互聯網領域，具體涉及互聯網環境下網絡數據集的規則化分散及收攏方法。

背景技術

隨著互聯網時代的不斷發展，時序數據庫、區塊鏈、邊緣計算等網絡類型數據結構下的隨時間延續的數據集體積的增長，對于數據集的讀取、傳輸及操作所需要的資源，成為了越來越多的分布式計算系統的節點處理、存儲資源的瓶頸。

目前對于這類分布式數據集的數據塊體積增長應對可以采用減少封裝時間、提高封裝費用等處理方法，從而降低需要封裝數據集的體積，從而降低后續數據集的傳輸、處理等成本，但是減少封裝時間可能導致數據一致不充分的風險，而提高費用會導致項目運行成本居高的問題。

因此，本發明提出一種用于互聯網的時序網絡數據集在增長狀態下的規則化分散及收攏方法，提高互聯網下的時序數據在分布式網絡狀態下的數據存儲的更加靈活性和便捷性，從而降低分布式系統的單點處理負荷。

發明內容

針對現有技術中存在的技術問題，本發明的目的在于提供一種用于互聯網的時序網絡數據集在增長過程的規則化分散及收攏存儲的方法，適用于所有數據集的進行分裂、收攏存儲及處理等調節單點負載的應用場合，是一種應用在公共場合下的時序數據集的關聯分散存儲的方法。

在一個給定的計算機網絡的時序網絡數據集的，時序數據集有若干并行數據塊序列構成，數據序列由數據塊利用特征值而次第關聯的構成，數據塊由如圖1所示的數據結構組成，其中數據負載由如圖2所示的業務數據構成。當數據序列的數據塊體積超過設定容量安全閾值或業務設定需要，則數據序列就依據特征值奇偶特性或其他約定規則進行分裂成偶數列數據序列，數據序列之間的業務數據形成互補，如圖5和圖6所示；當分散后的數據序列的數據塊低于設定容量閾值或業務設定需要，則分散后的數據合并回歸為之前的數據序列，如圖4。

本發明的時序數據集的規則化分散及收攏方法，包括如下步驟：

1)將用于存儲分布式時序數據集的數據結構中各個數據序列B1、～、BN依據不同的業務場景或其他設定準則選擇對應的封裝算法規則，可以是zip格式壓縮、加密算法或其他自定義算法規則，同一條數據序列By中的數據塊之間依序次關聯，y＝1～N，其中這種關聯可以是相鄰數據塊的數據特征之間錨定，或其他自定義關聯方法。數據序列B1、～、BN最終依其自身業務特點封裝成各自的數據依賴結構，如圖4。其中，構成數據序列的數據塊至少包括Fy_Sh、F_DS、Ti_(y,x)、DATA共4部分，也可以包括H_(y,(x-1))、H_G(z-1)作為第5、6部分，如圖1，其中，Fy_Sh是數據塊的類型，F_DS是數據塊所在數據序列By的標志(可以是By，也可以是一個編碼或者序數)，Ti_(y,x)是第y列數據序列By中第x個數據塊的封裝時序標識，可以是封裝時刻或其他約定標識，DATA是指數據塊中具體的業務數據負載，H_(y,(x-1))是第y列數據序列By中第x個數據塊的前序數據塊(即第x-1個數據塊)的數字特征值，其中，H_G(z-1)是第y列數據序列By中第x個數據塊的超塊(即第z-1個)的數字特征值。其中，超塊H_G(z)是超塊序列(一類數據序列)中的數據塊，超塊序列的數據塊至少保存了其他數據序列的數據序列標志F_DS、數據封裝時序Ti_(y,x)，及前序超塊數字特征值H_G(z-1)。“超塊”的封裝生成方式與普通數據塊類似，同時超塊接受其他數據塊的數字特征值并保存，超塊可以是其他普通的數據塊的充當，或者也可以是專門的數據塊。