[發明專利]一種分布式對象數據庫的構建方法

在審

• 申請號: 202011120635.7
• 申請日: 2020-10-19
• 公開（公告）號: CN112181950A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 王成光
• 申請（專利權）人: 北京米連科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/23;G06F16/2458;G06F16/27;G06F16/28
• 代理公司: 北京安之律師事務所 11707
• 代理人: 章彥奇

本發明提供了一種應對復雜數據的分布式對象數據庫ODB存儲系統，單條數據即對象、數據庫分片和主備及單條數據均支持彈性擴展、數據索引分離、高效底層存儲通訊依賴Apache頂級項目Avro，整體系統包括ODB任務客戶端模塊、ODB讀寫服務模塊、ODB索引模塊和ODB底層存儲模塊，其中ODB任務客戶端模塊，用于提交對象查詢和對象更新任務給ODB讀寫服務；ODB讀寫服務模塊,用于接受任務客戶端查詢和更新請求，并同ODB索引模塊及ODB底層存儲模塊交互；ODB索引模塊，用于更新或快速查找單個或批量對象數據索引；ODB底層存儲模塊，用于接受查詢和存儲對象實例。

技術領域

本發明屬于計算機技術領域，具體涉及一種應對復雜數據的分布式對象數據庫的構建方法。

背景技術

對象數據庫(ODB，Object Database)，顧名思義是指面向對象的數據庫——以對象和類的形式表示數據的數據庫。在面向對象術語中，對象是真實的實體，類是對象的集合。面向對象數據庫遵循面向對象編程的基本原則。簡單講，面向對象數據庫＝面向對象編程+數據庫，其特性如附圖1所示，同時滿足面向對象編程的繼承、封裝和多態，也滿足基本數據庫的讀寫、完整性和并發。ODB查詢和存儲更新的每條數據值都是一個完整的對象實例。

目前國內研究對象數據庫的還比較少，大部分都是基于健值對存儲的各種非關系數據庫(NoSQL，Not Only SQL——Structured Query Language)，常用NoSQL有4類代表：

1)以MongoDB為代表的健值對存儲的文檔格式，查詢和存儲性能都比較出色，而且查詢有多種索引模式支持，非常方便使用，但其單條數據目前最大不超過16M，對于當今一些相對復雜的業務支持有些力不從心。

2)以Hbase為代表的列示存儲，存儲層面優勢明顯，但其查詢方式支持力度不夠友好；

3)以Neo4J為代表的圖數據庫，存儲關系網絡，但目前圖數據庫在分布式方面都做的不太理想，單條數據一般都比較簡單，而且查詢效率在數據量大時性能大打折扣。

4)以TiDB為代表的NewSQL，提供了與NoSQL相同的可擴展性，而且仍基于關系模型，還保留了成熟的SQL作為查詢語言，保證了ACID事務特性。簡單講，NewSQL就是在傳統關系型數據庫上集成了NoSQL強大的可擴展性。一般單條數據都比較簡單。

相比較，對于當前一些需要快捷批量存取單條復雜數據類型的業務，上述各種數據庫都存在一些明顯的不足。比如，為方便推薦基礎用戶畫像標簽更新，往往需要以用戶為單位把其指定時間段內的相關行為及訪問次數和時間戳等數據聚合，當作一個整體看待。這個指定時間段一般可以設為天、周或月，這樣原本在天、周或月時間段內每個用戶有多達幾十條、數百條、乃至數千條、上萬條的散亂行為數據，就聚合為了一條具有密集行為的復雜數據，對于算法訓練使用則變得更為方便；但同樣，其存儲也變得比較復雜，因為單條數據量很容易超過MongoDB單條數據最大16M的上限，如果強行拆分為更細粒度，則數據散亂不易控制，而且其文檔結構格式：數據和結構融合在一起，會導致數據存儲冗余，且浪費存儲空間；如果存在Hbase，則因其本身查詢支持不太友好，在多維度查詢時不太方便。

目前國外有個開源的面向對象數據庫Db4o，其存在如下缺點：

1)其主要為單機嵌入式應用，這就意味著其擴展性不夠好，不能支持海量數據存儲；

2)其次，其使用層面，在對對象存儲時，并沒有加入優化序列化存儲技術支持，這就意味著其存儲和反序列化解析存在一些效率低和數據冗余問題；

3)最近一次更新是2019-9-29，近4年，其官方基本停止更新維護。

發明內容

針對以上不足，本發明提供了一種應對復雜數據的分布式對象數據庫存儲系統及其構建方法，解決了上述背景技術中存在的問題。