[發明專利]數據分布式存儲方法、裝置、電子設備及存儲介質在審
申請號: | 202010608688.7 | 申請日: | 2020-06-29 |
公開(公告)號: | CN111782634A | 公開(公告)日: | 2020-10-16 |
發明(設計)人: | 高新剛 | 申請(專利權)人: | 京東數字科技控股有限公司 |
主分類號: | G06F16/21 | 分類號: | G06F16/21;G06F16/22;G06F16/27 |
代理公司: | 北京華夏泰和知識產權代理有限公司 11662 | 代理人: | 盧萬騰;曾軍 |
地址: | 100176 北京市大興區北京經*** | 國省代碼: | 北京;11 |
權利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關鍵詞: | 數據 分布式 存儲 方法 裝置 電子設備 介質 | ||
1.一種數據分布式存儲方法,其特征在于,所述方法包括:
獲取數據庫建庫條件,根據所述數據庫建庫條件執行相應數據庫建庫指令,建立多個主數據庫以及與每個主數據庫對應的多個備數據庫;
從所述主數據庫中確定待建立數據庫表的目標主數據庫,以及從所述備數據庫中確定與所述目標主數據庫對應的目標備數據庫;
獲取數據庫表建表條件,根據所述數據庫表建表條件執行相應數據庫表建表指令,在所述目標主數據庫以及所述目標備數據庫中分別建立數據庫表;
獲取待存儲數據,將所述待存儲數據存儲至所述目標主數據庫中的所述數據庫表上;
基于預設數據一致性算法將所述目標主數據庫中的所述數據庫表上存儲的所述待存儲數據同步至所述目標備數據庫中的所述數據庫表上。
2.根據權利要求1所述的方法,其特征在于,所述獲取數據庫表建表條件,根據所述數據庫表建表條件執行相應數據庫表建表指令,在所述目標主數據庫以及所述目標備數據庫中分別建立數據庫表,包括:
獲取數據庫表建表條件,其中,所述數據庫表建表條件包括業務邏輯拆分規則以及選擇的主鍵類型;
根據所述業務邏輯拆分規則確定數據庫表類型,執行與所述數據庫表類型對應的數據庫表建表指令;
在所述目標主數據庫以及所述目標備數據庫分別建立與所述主鍵類型對應的數據庫表。
3.根據權利要求1所述的方法,其特征在于,所述將所述待存儲數據存儲至所述目標主數據庫中的所述數據庫表上之前,所述方法還包括:
判斷所述目標主數據庫中的所述數據庫表上已存儲數據對應的數量是否小于預設閾值;
若所述目標主數據庫中的所述數據庫表上已存儲數據對應的數量小于預設閾值,則執行所述將所述待存儲數據存儲至所述目標主數據庫中的所述數據庫表上的步驟。
4.根據權利要求3所述的方法,其特征在于,所述方法還包括:
若所述目標主數據庫中的所述數據庫表上已存儲數據對應的數量等于預設閾值,則從所述主數據庫中確定待建立數據庫表的新的目標主數據庫,以及從所述備數據庫中確定與所述新的目標主數據庫對應的新的目標備數據庫;
根據所述數據庫表建表條件執行相應數據庫表建表指令,在所述新的目標主數據庫以及所述新的目標備數據庫中分別建立新的數據庫表;
將所述待存儲數據存儲至所述新的目標主數據庫中的所述新的數據庫表上;
基于預設數據一致性算法將所述新的目標主數據庫中的所述新的數據庫表上存儲的所述待存儲數據同步至所述新的目標備數據庫中的所述新的數據庫表上。
5.根據權利要求1所述的方法,其特征在于,所述基于預設數據一致性算法將所述目標主數據庫中的所述數據庫表上存儲的所述待存儲數據同步至所述目標備數據庫中的所述數據庫表上,包括:
基于Raft算法將所述目標主數據庫中的所述數據庫表上存儲的所述待存儲數據同步至所述目標備數據庫中的所述數據庫表上。
6.根據權利要求1至5任一項所述的方法,其特征在于,所述方法還包括:
獲取數據插入指令,并解析所述插入指令中攜帶的數據庫表標識、主鍵鍵值、唯一約束和二級索引;
確定創建所述數據庫表標識對應的數據庫表所選擇的主鍵類型;
以所述唯一約束為約束條件,根據所選擇的主鍵類型對所述數據插入指令中攜帶的所述主鍵鍵值進行主鍵防重規則校驗;
若所述數據插入指令中攜帶的所述主鍵鍵值通過主鍵防重規則校驗,則根據所述數據庫表標識、所述主鍵鍵值以及所述二級索引插入所述插入指令中攜帶的數據,并存儲在插入所述插入指令中攜帶的數據的過程中產生的元數據;
基于預設數據一致性算法將所述插入指令中攜帶的數據以及所述元數據進行同步。
7.根據權利要求1所述的方法,其特征在于,所述以所述唯一約束為約束條件,根據所選擇的主鍵類型對所述數據插入指令中攜帶的所述主鍵鍵值進行主鍵防重規則校驗,包括:
以所述唯一約束為約束條件,根據所選擇的主鍵類型運行布隆過濾器,對所述數據插入指令中攜帶的所述主鍵鍵值進行主鍵防重規則校驗。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于京東數字科技控股有限公司,未經京東數字科技控股有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010608688.7/1.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置