[發明專利]大數據環境下提高數據庫性能的方法及系統

有效

• 申請號: 201410338440.8
• 申請日: 2014-07-16
• 公開（公告）號: CN104156396B
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 唐雪飛;邊湯貴;廖明焱;倪季敏;馬晨曦
• 申請（專利權）人: 成都康賽信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都宏順專利代理事務所(普通合伙)51227
• 代理人: 周永宏

1.大數據環境下提高數據庫性能的方法，其特征在于，包括如下步驟：

S1.定義數據庫結構；

S2.將數據插入數據庫；

S3.刪除數據庫數據記錄；

S4.更新數據庫數據；

S5.查詢數據庫數據；

S6.歸并數據庫主從表；

其中，所述步驟S2將數據插入數據庫具體包括如下分步驟：

S201.插入數據到達后進行數據插入操作；

S202.將數據寫入從緩存；

S203.在數據寫入從緩存時寫入主表字段、數據寫入時間字段和是否已存入主表字段，并將是否已存入主表字段置為0；

S204.設置調度位為可調度；

S205.根據緩存策略，當系統空閑或規定時間到來時，執行緩存更新，提高數據的寫入性能；

S206.將數據插入從表，進行永久化存儲；

S207.在數據插入從表時寫入主表字段、數據寫入時間字段和是否已存入主表字段；

S208.若有多個緩存依賴從表，則需要對這些與從表有依賴關系的緩存進行更新；

S209.設置主從表的歸并調度標志位，歸并程序將依此進行歸并調度，從而使得從表不至于過大，影響數據庫性能，完成數據插入；

其中，所述步驟S5查詢數據庫數據具體包括如下分步驟：

S501.判斷所要查詢的數據是否存在緩存中；

S502.數據存在緩存中，則進入緩存查詢；

S503.在主緩存中進行查詢；

S504.在從緩存中進行查詢；

S505.數據不存在緩存中，但能夠檢索，則進入數據庫表查詢；

S506.在主表中進行查詢；

S507.在從表中進行查詢；

S508.數據不存在緩存中，且不能檢索，則根據緩存生成策略，判斷是否需要生成此緩存；

S509.不需要生成此緩存則放棄；

S510.需要生成此緩存則將查詢結果保存為主緩存，并建立緩存索引；

S511.需要生成此緩存則將查詢結果保存為從緩存，并建立緩存索引；

S512.合成查詢的結果，并根據策略決定是否需要進行排序；

其中，所述步驟S6歸并數據庫主從表具體包括如下分步驟：

S601.根據從表大小、系統空閑、規定時間段設置調度主從表合并程序的策略，此部分在部署系統設定，或由數據庫管理員進行修改；

S602.判斷是否滿足步驟601的策略條件及由插入或新增操作所設定的調度位；

S603.若滿足則判斷從表中是否有數據；

S604.若從表中有數據，則判斷是否在主表中字段是否為0，防止歸并操作中斷；

S605.若是否在主表中字段為1，則跳過該從表，重復步驟S603；

S606.若是否在主表中字段為0，則進行合并操作:將主表進行分開，形成多個分表，以分表為單位，將從表中的數據寫入主表中，然后重復步驟S603；

S607.若從表中沒有數據，則合并主從緩存；

S608.將合并的主從緩存刪除，提高操作速度；

S609.刪除從表并重新創建從表；

S610.重新創建從緩存，完成本次歸并操作。

2.如權利要求1所述的大數據環境下提高數據庫性能的方法，其特征在于，所述步驟S1定義數據庫結構具體包括如下分步驟：

S101.將數據庫分為數據庫存儲部分和數據庫緩存部分，數據庫存儲部分駐存在永久性存儲介質中，數據庫緩存部分駐存在內存中，根據系統的功能而設定；

S102.將數據庫存儲部分分為主表和從表，主表是指數據庫中原有數據表，從表是指數據庫中新增的數據表；

S103.將數據庫緩存部分分為主緩存和從緩存，主緩存用作主表的緩存，從緩存用作從表的緩存；

S104.設定從表內容，包括：主表字段、數據寫入時間字段和是否已存入主表字段，主表字段指主表所擁有的全部字段，數據寫入時間字段記錄數據的寫入時間，是否已存入主表字段記錄該數據是否已存入主表，為1表示已存入主表，為0表示未存入主表；

S105.設定主緩存和次緩存內容，包括：功能hash碼字段、數據緩存地址字段和是否在數據庫中字段，功能hash碼字段對應系統功能，數據緩存地址字段記錄緩存的地址，是否在數據庫中字段用于更新緩存，為1表示在數據庫中，為0表示不在數據庫中。