[發明專利]一種分布式數據庫異步讀取并處理批量數據的方法

在審

• 申請號: 202011246356.5
• 申請日: 2020-11-10
• 公開（公告）號: CN112269835A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 賈德星;周恒;孫思清
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/242;G06F16/2457
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

1.一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于,其實現內容包括：

基于GO層的SQL模塊和C層的存儲模塊，在GO層的SQL模塊創建共享內存隊列；

通過共享內存隊列進行SQL模塊和存儲模塊之間的數據交互：當SQL模塊接收到客戶端的查詢請求時，通過CGO調用通知存儲模塊，存儲模塊的線程從RocksDB異步讀取批量數據并寫入共享內存隊列，同時，通過CGO調用通知SQL模塊的讀取線程，SQL模塊的線程異步讀取共享內存隊列的數據并處理，隨后返回處理結果給客戶端；

交互過程中，SQL模塊的線程和存儲模塊的線程異步并發執行，實現RocksDB數據的異步讀取和批量處理。

2.根據權利要求1所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，實現RocksDB數據的異步讀取和批量處理過程中，通過CGO調用，SQL模塊通知存儲模塊開始讀取數據，存儲模塊通知SQL模塊開始處理已讀取的數據。

3.根據權利要求1所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，異步讀取并處理批量數據的具體實現流程為：

(1)在SQL模塊創建一個共享內存隊列；

(2)在SQL模塊接收到客戶端的查詢請求時，通過CGO調用通知存儲模塊讀取數據，通過CGO調用將共享內存隊列的地址傳送給存儲模塊，同時啟動SQL模塊的線程，異步等待讀取共享內存隊列的數據；

(3)存儲模塊接收到查詢請求，隨后啟動存儲模塊的線程，異步從RocksDB批量數據讀取；

(4)存儲模塊的線程每從RocksDB讀取一批數據，即寫入共享內存隊列；

(5)SQL模塊的線程異步讀取共享內存隊列的數據；

(6)存儲模塊的線程從RocksDB讀取所有符合條件的數據后，通過CGO調用通知SQL模塊的線程，SQL模塊的線程收到通知后，處理已讀取的數據，并返回數據處理結果給客戶端。

4.根據權利要求3所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，在SQL模塊創建一個共享內存隊列的具體操作為：

在SQL模塊創建一片共享內存區域，并按固定大小將共享內存區域切分成多個Block，形成一個共享內存Block隊列。

5.根據權利要求4所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，所述存儲模塊的線程每從RocksDB讀取一批Block大小的數據，即寫入共享內存Block隊列，在共享內存的Block隊列已滿時，同步等待SQL模塊的線程進行異步數據消費。

6.根據權利要求5所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，在共享內存Block隊列為空時，等待存儲模塊的線程啟動，存儲模塊的線程將異步讀取的批量數據寫入共享內存Block隊列；存儲模塊的線程將異步讀取的批量數據全部寫入共享內存Block隊列后，設置共享內存Block隊列為空的標識。

7.根據權利要求6所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，所述SQL模塊的線程收到通知后，

如果共享內存隊列的數據未消費完畢，則繼續讀取共享內存隊列的數據，并解析共享內存隊列的KeyValue數據，進行條件過濾、聚合計算，并返回數據處理結果給客戶端；

如果共享內存隊列的數據已經為空，則結束SQL模塊的線程。

8.根據權利要求3所述的一種分布式數據庫異步讀取并處理批量數據的方法，其特征在于，步驟(4)中存儲模塊將從RocksDB讀取的批量數據寫入共享內存隊列，步驟(5)中SQL模塊讀取共享內存隊列的數據，這兩個過程是異步并發執行的。