[發明專利]分布式KV數據庫的數據讀寫方法、系統、設備和介質

有效

• 申請號: 202110475497.2
• 申請日: 2021-04-29
• 公開（公告）號: CN113190619B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 蔡軍;方然;宋昊霖
• 申請（專利權）人: 優刻得科技股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/21;G06F16/176
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 崔巍

本發明涉及數據庫技術領域，特別涉及分布式KV數據庫的數據讀寫方法、系統、設備和介質。方法包括：接收用戶的寫入請求，通過主數據庫，將相應數據寫入遠程的分布式文件系統；接收用戶的讀出請求，根據數據庫服務壓力情況，從主數據庫和至少一個從數據庫中選取一個數據庫，當選取的數據庫為主數據庫時，從分布式文件系統讀出相應數據，當選取的數據庫為從數據庫時，從分布式文件系統中，讀取該數據的一個副本，同時查詢該數據的其它所有副本的長度，如果該數據的預定數量的副本的長度一致，則將該數據判定為有效數據并讀出，否則將該數據判定為異常數據而不讀出。使得RocksDB數據庫具有高可用性、高可靠性、性能的動態可擴性、容量的動態可擴性。

技術領域

本發明涉及數據庫技術領域，特別涉及分布式KV數據庫的數據讀寫方法、系統、設備和介質。

背景技術

數據塊，特別是RocksDB數據庫單機實例KV(Key-Value，鍵-值)數據庫，具備優越的性能，但是在容量擴展和服務故障方面并沒有很好的解決方案。業內在解決RocksDB可靠性的方法是使用RocksDB內部的備份機制，然后使用Binlog追加方式進行實時備份，屬于冷備模式。在解決RocksDB的擴容的問題時，通常加入新的節點，然后將舊節點上的數據遷移到新節點上。在解決RocksDB可用性上，只能在同一臺節點機器啟動主從節點，當節點機器出現故障，無法提供服務。

現有RocksDB數據庫，在擴展性和可用性主要缺陷如下：1)已有開源的RocksDB數據庫只支持單機模式，可用性差，單機發生故障后，服務大概率不可用。2)RocksDB的數據文件使用單備份的模式，磁盤故障后，數據丟失風險極大。提供的Binlog備份機制屬于冷備模式，故障后需要人工介入恢復數據。3)RocksDB初始化后，總容量受限于RocksDB存放目錄的磁盤大小，容量無法進行動態擴展，需要通過遷移舊數據方式進行數據遷移。

發明內容

本發明的目的在于提供分布式KV數據庫的數據讀寫方法、系統、設備和介質，解決現有數據塊，特別是RocksDB數據庫在可用性、可靠性、性能的可擴性、容量的可擴性等方面的缺陷問題。

本發明的實施方式公開了一種分布式KV數據庫的數據讀寫方法，包括：

接收用戶的寫入請求，通過主數據庫，將相應數據寫入遠程的分布式文件系統；

接收用戶的讀出請求，根據數據庫服務壓力情況，從主數據庫和至少一個從數據庫中選取一個數據庫，當選取的數據庫為主數據庫時，從分布式文件系統讀出相應數據，當選取的數據庫為從數據庫時，從分布式文件系統中，讀取該數據的一個副本，同時查詢該數據的其它所有副本的長度，如果該數據的預定數量的副本的長度一致，則將該數據判定為有效數據并讀出，否則將該數據判定為異常數據而不讀出。

可選地，分布式文件系統包括：

多個數據塊服務，每個數據塊服務對應一個物理存儲器，在數據塊服務中，數據以數據塊的形式存儲，每個數據的多個副本分別存儲于多個數據塊服務；

元數據服務，用于存放多個數據塊服務中的數據的元數據信息，該元數據信息包括數據的數據塊信息；

客戶端服務，客戶端服務包括Crush(Controlled Replication Under ScalableHashing)算法和存儲引擎，用于在數據庫通過客戶端服務進行數據讀寫時，從元數據服務獲取數據塊信息，以確定該數據塊位于哪個數據塊服務；

可選地，每個數據庫啟動時，都作為從數據庫啟動，當沒有主數據庫或主數據庫故障時，根據從數據庫的注冊成為主數據庫的請求，確定一個從數據庫成為新的主數據庫。

可選地，對從數據庫的注冊成為主數據庫的請求的響應包括：

響應于該從數據庫注冊分布式協調系統的節點的請求，根據預定條件確定是否注冊成功；