[發明專利]一種基于大數據的分布式非結構化數據庫關聯查詢方法

在審

• 申請號: 202010738074.0
• 申請日: 2020-07-28
• 公開（公告）號: CN111930817A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 劉躍紅;曹浩;曾國江;郭倩
• 申請（專利權）人: 銀盛支付服務股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06F16/27
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 彭光榮

本發明公開了一種基于大數據的分布式非結構化數據庫關聯查詢方法，涉及數據處理技術領域；該方法包括以下的步驟：S1、數據表的生成，結合業務需求，采用mapping設計多表關聯的數據表實例，以獲得多張數據表；S2、數據表監控；S3、數據同步；S4、ETL處理及數據聚合，通過kafka集群，對步驟S3中經過數據同步的數據進行清洗及預處理，并聚合后落地存儲至非結構化數據庫中；S5、分片算法的選擇，當數據達到Tb級別數據量時，通過結合查詢場景設計分片算法，實現數據的分布式海量存儲；本發明的有益效果是：可實現結構化數據庫與非結構化數據庫的讀寫分離，解決海量數據存儲問題。

技術領域

本發明涉及數據處理技術領域，更具體的說，本發明涉及一種基于大數據的分布式非結構化數據庫關聯查詢方法。

背景技術

關系數據庫，是建立在關系模型基礎上的數據庫，借助于集合代數等數學概念和方法來處理數據庫中的數據。現實世界中的各種實體以及實體之間的各種聯系均用關系模型來表示。標準數據查詢語言SQL就是一種基于關系數據庫的語言，這種語言執行對關系數據庫中數據的檢索和操作。關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成。

傳統關系型數據庫，涉及表與表之間的關聯查詢，可通過視圖實現。但隨著業務的快速增長，關系型數據庫的瓶頸逐漸凸顯，如：(1)數據量急劇增加，查詢性能瓶頸嚴重；(2)傳統關系型數據庫查詢瓶頸影響交易過程中的寫入性能，急需考慮讀寫分離；(3)傳統關系型數據庫難以解決海量數據存儲問題。

發明內容

為了克服現有技術的不足，本發明提供一種基于大數據的分布式非結構化數據庫關聯查詢方法，該方法可實現結構化數據庫與非結構化數據庫的讀寫分離，解決海量數據存儲問題。

本發明解決其技術問題所采用的技術方案是：一種基于大數據的分布式非結構化數據庫關聯查詢方法，其改進之處在于，該方法包括以下的步驟：

S1、數據表的生成，結合業務需求，采用mapping設計多表關聯的數據表實例，以獲得多張數據表；

S2、數據表監控，通過Ogg監控各數據表變化，以適應業務數據的實時變化；

S3、數據同步，利用Ogg同步原理，實現Oracle數據庫與kafka集群中多表增量數據的實時同步；

S4、ETL處理及數據聚合，通過kafka集群，對步驟S3中經過數據同步的數據進行清洗及預處理，并聚合后落地存儲至非結構化數據庫中；

S5、分片算法的選擇，當數據達到Tb級別數據量時，通過結合查詢場景設計分片算法，實現數據的分布式海量存儲。

進一步的，在所述的步驟S1中，所述的業務需求包括但不限于支付領域中的掃碼預授權、聚合碼、直連以及間聯業務。

進一步的，在所述的步驟S1中：

在mapping設計多表關聯的表實例時，需設計源端至目標端的落地規則，實現非結構化數據庫關聯查詢表的實現原型。

進一步的，所述的落地規則包括但不限于分布式數據據庫的數據分片鍵的設計和預先設置頻繁查詢的索引。

進一步的，所述的步驟S5中，所述的查詢場景包括但不限于：

第一場景，數據寫入頻繁且讀取較少的場景，具體是指，寫入的數據有1000萬條以上，且讀取的數據有1-2萬條；

第二場景，數據讀取頻繁且寫入較少的場景，具體是指，寫入的數據有1-2萬條,且讀取的數據有1000萬條以上。

進一步的，對于第一場景，采用hash分片算法，將指定的key hash散列分布在不同的集群節點上，在數據落地時將數據做到了平衡，提升寫入性能。