[發明專利]基于kafka與哈希共享內存的分布式數據中心

有效

• 申請號: 202110705320.7
• 申請日: 2021-06-24
• 公開（公告）號: CN113407631B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 凌遠澤;陳賢平
• 申請（專利權）人: 深圳智多豚物聯技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/50;G06F16/2453
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 彭西洋;譚雪婷

本發明公開一種基于kafka與哈希共享內存的分布式數據中心，包括：中心數據庫，其建立數據更新表并將增加/修改的數據寫入數據更新表中；新增數據讀取服務端，其讀取數據更新表的新增數據并推送給kafka；根數據中心服務端，其在共享內存無數據時讀取全量數據后再消費kafka中新增的數據，其在共享內存有數據時直接消費kafka中新增的數據，讀取的數據寫入共享內存；若干頁節點數據中心服務端，其在共享內存無數據時同步全量數據到自身節點再消費kafka中新增的數據，其在共享內存有數據時直接消費kafka中新增的數據，數據存儲到共享內存。本發明實現分布式查詢，查詢及檢驗速率快，滿足本地業務對查詢校驗的快速需求。

技術領域

本發明涉及數據中心技術領域，尤其涉及一種基于kafka與哈希共享內存的分布式數據中心。

背景技術

對于數據中心而言，目前一般使用redis(redis是一個key-value存儲系統)或數據庫做存儲，其僅有一個中心數據庫或讀寫分離的數據庫。隨著數據量的增大，中心數據庫的數據愈發龐大，數據中心的寫入及訪問頻次也隨之增大，訪問的壓力不斷接近數據中心的極限，導致中心數據庫訪問壓力過大，且數據中心的性能也限制了業務的不斷增長，由于數據中心采用的是redis或數據庫存儲數據，業務對數據的訪問速度具有一定速率的要求，在跨區域甚至跨國時，數據的訪問效率達不到業務的需求，即數據中心的訪問效率達不到業務處理能力，很難實現快速、實時地進行數據的訪問及檢驗，跨區域訪問中心數據庫的數據訪問速度慢。

因此，現有技術存在缺陷，需要改進。

發明內容

本發明的目的是克服現有技術的不足，提供一種基于kafka與哈希共享內存的分布式數據中心。

本發明的技術方案如下：

一種基于kafka與哈希共享內存的分布式數據中心，包括：

中心數據庫，所述中心數據庫用于建立對應常量表的數據更新表，并將所述常量表的增加/修改的數據寫入所述數據更新表中；

新增數據讀取服務端，其與所述中心數據庫連接，所述新增數據讀取服務端用于定時讀取所述數據更新表中新增的數據，并將讀取到的數據推送到kafka中；

根數據中心服務端，其與所述中心數據庫和kafka連接，其還連接共享內存，所述根數據中心服務端用于在查詢到與之連接的共享內存中不存在數據時，讀取所述中心數據庫的全量數據，全量數據讀取完成后再持續從所述kafka中消費新增的數據，并將數據寫入所述共享內存中，以及用于在查詢到與之連接的共享內存中已存有數據時直接消費所述kafka中新增的數據并將數據寫入所述共享內存中；

若干頁節點數據中心服務端，每一所述頁節點數據中心服務端對應一個服務器，每一所述服務器均設有共享內存，每一所述所述頁節點數據中心服務端用于在查詢到與之對應的服務器設有的共享內存中不存在數據時，將所述根數據中心服務端的全量數據同步到本節點，然后再消費所述kafka中新增的數據，并把新增的數據存儲到共享內存中，以及用于在查詢到與之對應的服務器設有的共享內存中存在數據時，直接消費所述kafka中新增的數據，并把新增的數據存儲到共享內存中。

進一步地，所述中心數據庫中通過mysql的建表語句建立已存在的常量表的相同字段的數據更新表，并通過mysql的創建觸發器的語句創建對應數據表的觸發器以觸發mysql的數據表的插入及更新操作，從而使得新增的數據或修改的中心數據庫的數據通過該觸發器插入到所述數據更新表中。

進一步地，所述新增數據讀取服務端定時讀取所述數據更新表的前128條數據，并將mysql的查詢語句查詢到的數據讀取出來，讀取的數據推送到所述kafka中。

進一步地，所述新增數據讀取服務端讀取的數據是以json的形式推送到所述kafka中。