[發(fā)明專利]基于HDFS元數(shù)據(jù)服務(wù)器的分布式關(guān)系數(shù)據(jù)庫及構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202011224970.1
• 申請日: 2020-11-05
• 公開（公告）號: CN112395354B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 李發(fā)明
• 申請（專利權(quán)）人: 深圳市中博科創(chuàng)信息技術(shù)有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28;G06F16/22;G06F16/182
• 代理公司: 深圳智匯遠見知識產(chǎn)權(quán)代理有限公司 44481
• 代理人: 李雪鵑;艾青

本發(fā)明提供了一種基于HDFS元數(shù)據(jù)服務(wù)器的分布式關(guān)系數(shù)據(jù)庫及構(gòu)建方法，屬于分布式數(shù)據(jù)庫領(lǐng)域。所述構(gòu)建方法根據(jù)HDFS系統(tǒng)覆蓋范圍，對數(shù)據(jù)進行分區(qū)，并根據(jù)分區(qū)將數(shù)據(jù)存儲在區(qū)域HDFS中；區(qū)域HDFS根據(jù)所存儲的資源數(shù)據(jù)生成元數(shù)據(jù)，并將元數(shù)據(jù)發(fā)送給對應的子節(jié)點；與區(qū)域HDFS對應的子節(jié)點存儲所述元數(shù)據(jù)，根據(jù)元數(shù)據(jù)生成唯一標識符，并將所述元數(shù)據(jù)及唯一標識符發(fā)送給HDFS元數(shù)據(jù)服務(wù)器；所述元數(shù)據(jù)服務(wù)器存儲所述唯一標識符，并將元數(shù)據(jù)和唯一標識符發(fā)送給根節(jié)點，并設(shè)置用戶接口，通過用戶接口在數(shù)據(jù)庫中進行用戶請求的逐層反饋。本發(fā)明通過元數(shù)據(jù)服務(wù)器建立父節(jié)點與子節(jié)點間的關(guān)系，實現(xiàn)了跨地域、多分支數(shù)據(jù)源的分布式關(guān)系數(shù)據(jù)存儲。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式數(shù)據(jù)庫領(lǐng)域，具體涉及一種基于HDFS元數(shù)據(jù)服務(wù)器的分布式關(guān)系數(shù)據(jù)庫及構(gòu)建方法。

背景技術(shù)

在互聯(lián)網(wǎng)平臺架構(gòu)中，數(shù)據(jù)存儲層是整體架構(gòu)的基礎(chǔ)，既要對海量數(shù)據(jù)進行有效組織，又要對上層數(shù)據(jù)庫系統(tǒng)提供高效接口，滿足海量結(jié)構(gòu)化數(shù)據(jù)分析的需求。例如，對于一個成熟的云存儲系統(tǒng)來說，其數(shù)據(jù)庫系統(tǒng)要具備穩(wěn)定的架構(gòu)、良好的擴展性、兼容性、以及友好的查詢和索引功能。Hadoop分布式文件系統(tǒng)(HadoopDistributed File System，HDFS)是一種運行在通用硬件上且具有高度容錯性的分布式文件系統(tǒng)，適合部署在廉價的機器上，同時具有高度的兼容性。當將HDFS應用于具體的信息平臺基礎(chǔ)層時，每個平臺架構(gòu)具有自己獨特的結(jié)構(gòu)，HDFS無法直接應用于具有獨特結(jié)構(gòu)的平臺架構(gòu)。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，本發(fā)明旨在提供一種基于HDFS元數(shù)據(jù)服務(wù)器的分布式關(guān)系數(shù)據(jù)庫及構(gòu)建方法，通過元數(shù)據(jù)服務(wù)器建立父節(jié)點與子節(jié)點間的關(guān)系，實現(xiàn)跨地域、多分支數(shù)據(jù)源的分布式關(guān)系數(shù)據(jù)存儲。

為了實現(xiàn)上述目的，本發(fā)明實施例采用如下技術(shù)方案：

第一方面，本發(fā)明實施例提供了一種基于HDFS元數(shù)據(jù)服務(wù)器的分布式關(guān)系數(shù)據(jù)庫，所述分布式關(guān)系數(shù)據(jù)庫包括：若干區(qū)域HDFS、與區(qū)域HDFS數(shù)量相同的子節(jié)點、HDFS元數(shù)據(jù)服務(wù)器、根節(jié)點及用戶接口；其中，

所述區(qū)域HDFS與所述子節(jié)點通訊連接，用于存儲所在區(qū)域的資源數(shù)據(jù)，并用于生成資源數(shù)據(jù)的元數(shù)據(jù)且發(fā)送給相連的子節(jié)點，還用于接受子節(jié)點的元數(shù)據(jù)請求，并將與元數(shù)據(jù)相對應的資源數(shù)據(jù)反饋給所述子節(jié)點；

所述子節(jié)點數(shù)量與區(qū)域HDFS數(shù)量相同，所有子節(jié)點都與HDFS元數(shù)據(jù)服務(wù)器相連，用于存儲所述區(qū)域HDFS所發(fā)送的元數(shù)據(jù)，并針對每個元數(shù)據(jù)生成唯一標識符，再將所述元數(shù)據(jù)及唯一標識符發(fā)送給所述HDFS元數(shù)據(jù)服務(wù)器；還用于接受HDFS元數(shù)據(jù)服務(wù)器的唯一標識符請求匹配相應的元數(shù)據(jù)，將元數(shù)據(jù)請求發(fā)送給所述區(qū)域HDFS；

所述HDFS元數(shù)據(jù)服務(wù)器與所述根節(jié)點通訊連接，用于將所述元數(shù)據(jù)及唯一標識符發(fā)送給所述根節(jié)點，并保留所述唯一標識符，還用于接受用戶請求，并將用戶請求發(fā)送給根節(jié)點；再根據(jù)根節(jié)點反饋的元數(shù)據(jù)請求匹配相應的唯一標識符并識別對應的子節(jié)點，將唯一標識符請求發(fā)送給對應的子節(jié)點；

所述根節(jié)點用于存儲所有元數(shù)據(jù)，并用于接受來自元數(shù)據(jù)服務(wù)器的用戶請求，根據(jù)用戶請求生成附帶唯一標識符的元數(shù)據(jù)請求并反饋給所述HDFS元數(shù)據(jù)服務(wù)器。

上述方案中，所述唯一標識符包括子節(jié)點標識字段、元數(shù)據(jù)標識字段、存儲時序字段及校驗字段；其中，所述子節(jié)點標識字段用于識別子節(jié)點，所述元數(shù)據(jù)標識字段用于根據(jù)元數(shù)據(jù)請求匹配唯一標識符，所述存儲時序字段用于數(shù)據(jù)更新，校驗字段用于匹配及識別的校驗。

上述方案中，所述HDFS元數(shù)據(jù)服務(wù)器具有擴展接口，所述擴展接口包括JDBC/ODBC接口以及通過命令行直接與服務(wù)器進行交互的User Shell。

上述方案中，所述若干個區(qū)域HDFS，每個區(qū)域HDFS對應實際的地理區(qū)域或一個系統(tǒng)內(nèi)部的部門或某中心的處室。