[發明專利]大并發數據庫的分庫分表方法

有效

• 申請號: 201811495468.7
• 申請日: 2018-12-07
• 公開（公告）號: CN109308293B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 萬鵬;吳軍
• 申請（專利權）人: 廣東中鵬熱能科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 佛山市南海智維專利代理有限公司 44225
• 代理人: 李憲賓

本發明公開一種大并發數據庫的分庫分表方法，該數據庫以業務數據單元、原數據存儲單元及數據分析單元分庫分表，這些數據庫單元作為分布式數據系統中的節點，數據并發和數據存儲主要分成數據緩沖、緩沖池數據及數據映射三部分處理。將數據信息在分布式數據歸集點上分為三種單元，每一種單元都為單一數據庫，使其各個單元數據庫的線程池中的并發得到分離，大大提高不同工程但對象特征相同的大數據并發存儲時造成的數據的紊亂，并且解決大數據在高并發情況下數據存儲的瓶頸。并為數據進行數據分析，數據深度探索研究，和數據歸集整理以后的查詢做準備。

技術領域

本發明涉及數據處理技術領域，具體是指大并發數據庫的分庫分表方法。

背景技術

目前市面上科技領域中的對于數據在數據庫架構中存儲的方式都是以常態化方式存儲，并非全部以單元化數據分類進行存儲。由于傳統方式存儲數據，在對大數據分析時造成的數據庫鎖表問題，無響應，數據準確性，分析數據時取表信息不靈活等等存在缺點因素。特別是由于現代窯爐設備數據信息的特殊化，需要將窯爐設備的數據信息化按照單元化數據分類進行存儲，以便對窯爐數據信息的歸類單元化管理。

發明內容

本發明要解決的技術問題是為提供一種將數據信息按照單元化數據分類進行存儲的方法。

為解決上述技術問題所采用的技術方案：一種大并發數據庫的分庫分表方法，該數據庫以業務數據單元、原數據存儲單元及數據分析單元分庫分表，這些數據庫單元作為分布式數據系統中的節點，數據并發和數據存儲主要分成三部分處理：

一、數據緩沖，用于緩沖異步接收的數據，作為一個數據隊列緩沖池；

二、緩沖池數據，用于將緩沖池中的數據進行辨別，然后將類型規劃的數據類型進行整理，然后存到對應的數據集中的類型表中；

三、數據映射，用于將內存中臨時存儲的數據表的數據映射到數據庫中對應類型表中，映射方式采用值表類型數據映射。

將數據信息在分布式數據歸集點上分為三種單元，1.業務數據庫單元，2.原數據存儲庫單元，3.數據分析庫單元，每一種單元都為單一數據庫，使其各個單元數據庫的線程池中的并發得到分離，大大提高不同工程但對象特征相同的大數據并發存儲時造成的數據的紊亂，并且解決大數據在高并發情況下數據存儲的瓶頸。并為數據進行數據分析，數據深度探索研究，和數據歸集整理以后的查詢做準備。該方案也適用于不同行業，在存儲數據的時候，存在某一對象特征相同，但對象不同時的數據存儲方案。

采用本發明所帶來的有益效果：

1、解決在單機情況下大量數據存儲瓶頸，解決數據庫存儲壓力，主要解決數據寫入、讀取、存儲壓力過大，從而導致數據庫數據某表在讀寫時受數據分析調用時鎖表產生無響應；

2、將存入數據庫中的數據進行分類化分表，可提供程序獨立對某一類型數據進行獨立分析，以提高數據分析能力、擴展能力、和數據分類分析能力，能拓展多點分布式數據存儲及程序自動化多點分布分析能力；

3、業務數據單元、原數據存儲單元、數據分析單元完全分離提高每種數據庫單元的線程池高并發作業；

4、原數據庫中歸類分表存儲結構，提高對相同對象、不同特征的形式進行數據存儲，提高了每張表對于數據存儲的橫向最大化存儲；

5、數據分析可以完全獨立化地為每一個相同對象，不同特征，但類型相同的數據進行數據分析，數據挖掘等等…

附圖說明

圖1為本發明窯爐數據庫分庫分表流程圖；

圖2為本發明中業務數據庫的流程圖；

圖3為本發明中分析數據庫的流程圖；

圖4為本發明中分析數據庫的查詢流程圖

具體實施方式