[發明專利]一種基于鍵值對數據庫的多源異構數據管理方法及系統

在審

• 申請號: 201810046170.1
• 申請日: 2018-01-17
• 公開（公告）號: CN108121828A
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 王建民;黃向東;龍明盛
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明提供一種基于鍵值對數據庫的多源異構數據管理方法，包括：S1、將多源異構數據按照彈性表模型的形式進行表示，其中，所述彈性表模型包括刻面以及刻面對應的排序函數，所述刻面表示同一描述對象的具有相關屬性的多源異構數據集合，在每個刻面中，按照所述刻面對應的排序函數，對所述多源異構數據進行表示；S2、基于所述刻面以及刻面對應的排序函數，構建鍵值對數據庫的列組，并將所述多源異構數據所屬的對象作為所述鍵值對數據庫的行鍵，以實現對所述彈性表模型的管理。本發明提供的基于鍵值對數據庫的多源異構數據管理方法及系統，通過鍵值對數據庫實現了彈性表模型管理，保持了彈性表模型在刻面間和刻面內的彈性，從而有效的管理多源異構數據。

技術領域

本發明屬于計算機數據管理技術領域，更具體地，涉及一種基于鍵值對數據庫的多源異構數據管理方法及系統。

背景技術

隨著大數據應用的普及，人們需要管理數據的種類和數量在不斷增長，這些數據不僅包括傳統的結構化數據，還包括文本、圖像、視頻等非結構化數據，以及基于這些數據提取和挖掘的二次加工數據等。此外，數據的來源也變得更加多樣，例如對于一個設備工作狀況的描述信息既包括設備上的傳感器采集到的時序數據，還包括用戶錄入系統的巡查、檢修等數據。這些多源異構數據的使用對現有的數據管理系統提出了巨大挑戰，其中主要的問題就在于，現有的以關系模型為主的數據管理系統無法應對這些多源異構數據的兩大特性：(1)同一對象的具有多種異構數據，且在不斷演化；(2)一個對象的一種數據的屬性值在不斷演化。

故而現在亟須一種多源異構數據管理方法，來解決多源異構數據的數據管理問題。

發明內容

本發明提供一種克服上述問題或者至少部分地解決上述問題的一種基于鍵值對數據庫的多源異構數據管理方法，所述方法包括：

S1、將多源異構數據按照彈性表模型的形式進行表示，其中，所述彈性表模型包括刻面以及刻面對應的排序函數，所述刻面表示同一描述對象的具有相關屬性的多源異構數據集合，在每個刻面中，按照所述刻面對應的排序函數，對所述多源異構數據進行表示；

S2、基于所述刻面以及刻面對應的排序函數，構建鍵值對數據庫的列組，并將所述多源異構數據所屬的對象作為所述鍵值對數據庫的行鍵，以實現對所述彈性表模型的管理。

其中，所述方法還包括：

基于預設的索引列組，記錄每個所述多源異構數據所屬的對象包括的刻面。

其中，所述基于預設的索引列組，記錄每個所述多源異構數據所屬的對象包括的刻面，包括：

為每個所述多源異構數據所屬的對象設置一個對應的目標行鍵，當所述多源異構數據所屬的對象包括的刻面增加時，在所述目標行鍵中添加目標列，所述目標列的列名為增加的刻面名字，所述目標列的列值為刻面增加的時間。

其中，步驟S1包括：

將所述多源異構數據按照所述多源異構數據描述的對象分為多個數據組；

將每個所述數據組按照數據的屬性分為多個刻面，每個所述刻面包括若干屬性的數據；

按照刻面對應的排序函數，對每個刻面中的數據進行排序并表示。

其中，所述對所述彈性表模型的管理包括：

彈性表模型信息改寫，所述彈性表模型信息改寫包括彈性表模型刻面擴展、彈性表模型刻面收縮以及彈性表模型屬性收縮；

當進行彈性表模型刻面擴展時，在所述鍵值對數據庫中新增擴展刻面對應的列組；

當進行彈性表模型刻面收縮時，在所述鍵值對數據庫中將被收縮的刻面對應的列組中所有被收縮的刻面對應的鍵值刪除，并在所述索引列組中刪除被收縮的刻面對應的目標列；