[發明專利]基于有序分布式索引結構的查詢方法和分布式數據庫系統

在審

• 申請號: 202011203711.0
• 申請日: 2020-11-02
• 公開（公告）號: CN112416925A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 陳偉;富浩;臧鋮;史冊;張云糧
• 申請（專利權）人: 浙商銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/27;G06Q40/02
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種基于有序分布式索引結構的查詢方法和分布式數據庫系統，有序分布式索引結構應用于分布式數據庫的數據對應的索引庫；依據該索引結構，從索引庫查詢所需數據的基本信息，繼而從海量分布式數據庫中高效取出所需數據，實現分布式數據庫對于點數據和小范圍數據的高效查詢，并且支持多任務的共同查詢，實現查詢高并發；基于該索引結構執行查詢任務并返回小范圍和點的數據，可以得到精確的查詢結果。在PB級別的數據中，本發明提出的分布式索引結構能夠實現點數據和小范圍數據的高效查詢和分析。

技術領域

本發明屬于數據檢索技術領域，尤其涉及一種分布式數據庫的高效查詢方法。

背景技術

隨著國內銀行間競爭的不斷加劇、金融脫媒不斷深化、利率市場化等因素的影響，這就要求銀行在信息技術領域對其數據的存儲、檢索和分析進行精耕細作，充分利用海量數據的價值，逐步建成以客戶為中心、以產品為導向的經營模式。隨著用戶數據爆炸式增長，國內銀行大都采用分布式數據庫進行數據存儲，雖然分布式數據庫大都支持大批量快速的存儲，但是在按條件檢索方面卻很難快速靈活的獲取其中的數據，這導致銀行對產品調控不及時，影響銀行的業務辦理，客戶體驗變差。

除此之外，由于大數據的搜索、分析效率低下導致的業務開發周期延長，大大制約了銀行金融對于市場的敏感性，影響銀行的用戶分析、精準營銷、差異化定價、風險管理等服務，所以分布式數據庫的快速檢索技術亟待解決。

發明內容

本發明的目的在于針對傳統分布式數據庫查詢小批量數據和點數據緩慢，效率低以及查詢緩慢導致的數據分析延遲，對銀行業務便捷性和用戶體驗方面產生不良影響，提供了一種基于有序分布式數據索引結構的查詢方法和分布式數據庫系統。

本發明的目的是通過以下技術方案來實現的：

本發明一方面提供了一種基于有序分布式索引結構的快速查詢方法，該方法適用于分布式數據庫系統，包括數據存儲部分和數據查詢部分；

所述數據存儲部分包括：

構建索引庫，所述索引庫的數據表結構包括主鍵Key1和值Value1，所述主鍵為有序分布式索引結構，包括依次排布的表ID、列ID、IndexID、command ID、時間戳、刪除標志和RotCount；所述表ID表示鍵所在表的地址；列ID表示所要存儲數據列地址；IndexID表示列簇的id號；Command ID表示記錄一個事務中產生寫操作的SQL行為；時間戳表示數據存儲到分布式數據庫的時間；RotCount表示此條記錄被查詢的次數，默認初始值為0；

接收到用戶待記錄的數據時，首先申請分布式數據庫空間，以行數為主鍵Key2，將數據存入分布式數據庫中，并返回數據基本信息至索引庫中，所述數據基本信息包括：行數、表ID、列ID、IndexID、command ID、時間戳和刪除標志；

索引庫接收到分布式數據庫返回的數據基本信息后，將表ID、列ID、IndexID、command ID、時間戳和刪除標志按順序依次存入索引庫的主鍵Key1中，RotCount列默認為0，構建數據自己的主鍵索引，將行數存入索引庫的值Value1中，用來表征分布式數據庫中的某一條數據；

所述數據查詢部分包括：

獲取查詢任務，判斷查詢任務是單點查詢還是范圍查詢；

當查詢單點數據時，將查詢語句中constant查詢條件，先在索引庫中查找對應的索引數據，根據查詢結果解析出數據基本信息，并且同時RotCount做加1操作，根據解析出的行數繼而進入分布式數據庫中查表、查行數據，返回查詢的某行數據；

當查詢范圍數據時，將查詢語句中分布鍵的上限和下限取出，在索引庫中搜索在范圍內的分布鍵，將取到數據的主鍵索引中RotCount做加1操作，從分布鍵中得到的數據基本信息和數據所在行信息，在分布式數據庫中查詢對應范圍內所有的數據量。