[發明專利]一種基于大數據的分布式非結構化數據庫關聯查詢方法

在審

• 申請號: 202010738074.0
• 申請日: 2020-07-28
• 公開（公告）號: CN111930817A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 劉躍紅;曹浩;曾國江;郭倩
• 申請（專利權）人: 銀盛支付服務股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06F16/27
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 彭光榮

1.一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，該方法包括以下的步驟：

S1、數據表的生成，結合業務需求，采用mapping設計多表關聯的數據表實例，以獲得多張數據表；

S2、數據表監控，通過Ogg監控各數據表變化，以適應業務數據的實時變化；

S3、數據同步，利用Ogg同步原理，實現Oracle數據庫與kafka集群中多表增量數據的實時同步；

S4、ETL處理及數據聚合，通過kafka集群，對步驟S3中經過數據同步的數據進行清洗及預處理，并聚合后落地存儲至非結構化數據庫中；

S5、分片算法的選擇，當數據達到Tb級別數據量時，通過結合查詢場景設計分片算法，實現數據的分布式海量存儲。

2.根據權利要求1所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，在所述的步驟S1中,所述的業務需求包括但不限于支付領域中的掃碼預授權、聚合碼、直連以及間聯業務。

3.根據權利要求1所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，在所述的步驟S1中：

在mapping設計多表關聯的表實例時，需設計源端至目標端的落地規則，實現非結構化數據庫關聯查詢表的實現原型。

4.根據權利要求3所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述的落地規則包括但不限于分布式數據據庫的數據分片鍵的設計和預先設置頻繁查詢的索引。

5.根據權利要求1所述一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述的步驟S5中，所述的查詢場景包括但不限于：

第一場景，數據寫入頻繁且讀取較少的場景，具體是指，寫入的數據有1000萬條以上，而讀取的數據有1-2萬條；

第二場景，數據讀取頻繁且寫入較少的場景，具體是指，寫入的數據有1-2萬條,而讀取的數據有1000萬條以上。

6.根據權利要求5所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，對于第一場景，采用hash分片算法，將指定的key hash散列分布在不同的分布式非結構性數據庫集群的節點上，在數據落地時將數據做到了平衡，提升寫入性能。

7.根據權利要求5所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，對于第二場景，采用range分片算法，以提升掃描和排序數據方面的性能。

8.根據權利要求4所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述的步驟S5之后，還包括以下的步驟：

S6、根據查詢場景及Nosq1分布式存儲的優勢，優化查詢索引及優化數據塊分布，以解決查詢性能瓶頸。

9.根據權利要求8所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述優化查詢索引的方式包括：每個查詢都需要創建對應索引。

10.根據權利要求8所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述優化查詢索引的方式包括：單個索引的設計需滿足多個數據查詢。

11.根據權利要求8所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述優化查詢索引的方式包括：索引字段選擇及順序，需考慮查詢覆蓋率和選擇性。

12.根據權利要求8所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述優化查詢索引的方式包括：對于更新及其頻繁的字段上創建索引需慎重。

13.根據權利要求8所述的一種基于大數據的分布式非結構化數據庫關聯查詢方法，其特征在于，所述優化查詢索引的方式包括：對于數組索引需要慎重考慮未來元素個數。