[發明專利]一種分布式數據庫并發存儲虛擬請求機制的實現方法

有效

• 申請號: 201310265116.3
• 申請日: 2013-06-27
• 公開（公告）號: CN103338252B
• 公開（公告）日: 2017-05-24
• 發明（設計）人: 孟慶民;楊浩;華杰;程維文;鄭寶玉
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 南京知識律師事務所32207
• 代理人: 汪旭東

技術領域

本發明涉及網絡技術領域，具體涉及面向大數據分發的分布式數據庫存儲管理和安全機制，合理分配網絡資源，提高網絡吞吐量，降低網絡擁塞領域。

背景技術

在當今海量信息化的互聯網時代，數據庫從簡單的存儲各種數據表單到海量數據存儲在各行各業得到了廣泛的應用。數據庫存儲往往也是網站訪問的瓶頸，尤其傳統數據庫存儲方式過于簡單化，過于集中管理而造成大量數據堆積，并且由于集中造成訪問壓力很大，不僅體現在數據庫連接池支持的連接上，還體現在突發的大流量上,巨大的I/O業務請求訪問量上，一旦出現這種現象，可能會導致數據庫服務器回應下降乃至崩潰，隨即大量數據會隨著服務器崩潰而丟失，有些時候這種損失將是不可估量，并且將直接導致應用服務水平的下降，甚至應用出錯，影響業務運作。傳統面向大流量并發訪問時候，數據庫根本無法適應其規模，并且數據庫將面臨CPU和I/O的急劇開銷，甚至停止響應，更甚至崩潰。這些案例雖可以通過負載均衡系統、緩存系統、分布式存儲系統等得以改進。但是，負載均衡系統僅針對龐大的數據庫群，而且硬件負載均衡系統十分的昂貴。緩存系統主要針對的是一些用戶頻繁訪問數據資源讀操作而提出的方案。

在分布式數據庫技術被推向了現代存儲技術的舞臺后，它的靈活性和透明性體現出了這種分布式存儲的強項,從而現在分布式數據庫存儲技術是現代企業使用的比較廣泛存儲技術。分布式數據庫存儲方式物理上是分布的，邏輯上是集中的。物理上分布主要是指數據存儲在不同的數據庫上，邏輯上集中主要是指數據庫管理、維護方便快捷，并且讓操作終端感覺不到數據庫的分散。

分布式數據庫技術隨著在當今大流量，大訪問量時代運因而生。但是分布式數據庫一直沒有一套完善的管理系統。如果沒有良好的管理機制，就不能合理分配流量，也將導致在大流量請求、存儲時出現數據庫服務器回應降乃至崩潰現象出現，因此分布式數據庫需要一套成熟的管理系統，基于原來服務器管理已經不能滿足目前的需求，新的需求必須集中式的、分組的、自動化對數據庫服務器經行管理。

發明內容

發明目的：解決在大流量請求、存儲的時候，出現數據庫服務器回應下降乃至崩潰現象出現等問題，提高網絡吞吐量，降低網絡以及數據庫擁塞幾率。

發明技術方案：本機制所建立在分布式數據庫并發存儲虛擬請求機制系統結構組成:該系統由發送存儲請求客戶機、web應用服務器、訪問控制服務器、以及分布式數據庫集群組成。

本機制實用特征如下：web服務器接收多臺客戶機并發存儲請求；web服務器將請求遞交給專門提供訪問控制的服務器；訪問控制服務器向與之相連的分布式數據庫集群廣播虛擬存儲信息包；訪問控制服務器在指定時間內接收到各數據庫反饋ACK響應信息包，根據ACK信息包做算法解析，計算當下各鏈路網絡負載以及對應數據庫并發訪問負載（包括訪問用戶數、I/O負載），給出數據庫訪問的最優策略，并將策略反饋給web服務器；web服務器獲得該策略，行進數據存儲到指定最優數據庫，完成存儲。于此同時，訪問控制服務器將記錄當前相應的存儲索引，方便日后數據提取。

web服務器只做web應用相關處理，不做存儲處理，其儲存工作將會被過濾給訪問控制服務器以及分布式數據庫集群來完成；

訪問控制服務器處理web服務器存儲請求，并計算針對不同用戶群的存儲請求的優先級。

訪問控制服務器發送虛擬存儲包，該虛擬包將在各分布式數據庫服務器處得到解析，并反饋ACK，其ACK響應信息包包含當前該數據庫并發連接數/并發連接數上限、該數據庫I/O整體負荷，以及網絡通信質量。

訪問控制服務器解析ACK響應信息包，遵循數據庫存儲負載優先（包括用戶訪問負載以及數據庫整體I/O負載）>通信質量優先>傳輸時延優先的先后順序來完成算法策略。

數據庫存儲優先前提在于數據庫連接池并沒有達到飽和，并且當前該數據庫I/O負荷適中，尋找數據庫訪問負載相對小的數據庫經行訪問，如果已達到飽和或者I/O負荷較大，該機制算法將該數據庫從本次存儲候選表中忽略。

通信質量優先其目的保證通信鏈路負載均衡，防止網絡擁擠。該機制算法將從數據庫候選表中優先選擇通信鏈路質量好的鏈路通信。

機制算法列出可訪問數據庫按照當前負載加權，以及列出分別通信鏈路質量加權。分別給兩者加權求和排序得出最優的選擇。