[發明專利]鐵路地質災害監測分布式數據庫集群的擴展方法與系統

在審

• 申請號: 202011637222.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112765211A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 袁焦;陸鑫;王珣;王暉;伏坤;楊科;鄒文露;余博;金劭南;劉勇;徐鑫;潘兆馬;楊學鋒;楊森;姚書琴;裴起帆
• 申請（專利權）人: 中鐵二院工程集團有限責任公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2458
• 代理公司: 四川力久律師事務所 51221
• 代理人: 韓洋

本發明公開了一種鐵路地質災害監測分布式數據庫集群擴展方法及系統，包括：獲取用戶的節點擴展請求，節點拓展請求包括：監測數據的類型與頻率；獲取多個從節點的狀態參數；根據狀態參數對多個從節點進行評估，將分值最高的n個從節點推薦給用戶；獲取用戶選擇的n個從節點，根據用戶選擇的n個從節點進行分布式數據庫集群的自動擴展。本發明通過在用戶的每一次節點擴展請求中，對集群中各從節點性能的狀態參數進行實時評價、從而能夠為用戶提供最優從節點供用戶進行參考，輔助用戶做出正確的選擇；并在用戶進行節點選擇后，通過在預置在系統中的配置管理控制方法控制分布式數據庫集群進行節點的自動擴展，無需進行復雜的人工文件配置。

技術領域

本發明涉及鐵路地質災害監測分布式數據庫配置管理技術領域，特別涉及一種鐵路地質災害監測分布式數據庫集群的擴展方法與系統。

背景技術

隨著鐵路沿線工點地質災害監測的數據不斷增長，受單個服務器的存儲容量和數據訪問請求性能的限制，原來的數據庫服務器橫向擴展無法滿足多個新增工點的海量數據存儲需求。例如，在邊坡應用中，監測設備可能達到10萬臺，每臺設備每天產生24種數據。同時還要能夠保證數據在1.5s內寫入100000條以及查詢1000000行數據的時間小于2s。那么隨著時間逐漸增長，原有單個節點的數據庫遠遠無法滿足數據存儲和訪問的需求。因此，需要通過分布式數據庫集群來對鐵路地質災害監測數據進行存儲。

Mycat是一個典型的數據庫集群中間件開源軟件，其基于阿里巴巴開源的 cobar上開發而來。它能夠快速地對開源數據庫MySQL進行數據庫集群管理，便于實現數據庫服務器節點水平擴展，以便支撐日益增長的數據量。該數據庫集群中間件軟件提供了水平切分、垂直切分的功能，還提供了讀寫分離、宕機自動切換等功能。Mycat還支持原生的MySQL協議，所以其客戶端可以是任意語言以及平臺。由于它采用NIO實現數據處理，所以其能更好地解決高并發的問題，支持大量的數據請求訪問。它支持常用的SUM、COUNT等聚合函數，并且支持跨庫分頁、跨庫兩表join操作，支持分布式事務等。通過Mycat數據庫集群中間件能夠提供存儲和訪問大量數據的能力。同時通過MySQL數據庫的主從復制技術與Mycat數據庫中間件的讀寫分離和故障自動切換功能可以保證數據高效訪問以及高可用。同時，通過負載均衡器可以保證整個集群的高性能，而通過虛擬IP技術則可以保證負載均衡器的高可用。最終就會構建一個高性能高可用的分布式數據庫集群平臺。基于上述Mycat的性能優勢，將Mycat分布式數據庫集群平臺應用于鐵路地質災害監測中，能夠滿足于鐵路地質災害監測數據庫集群存儲的需求。

但是在分布式數據庫集群平臺擴展數據庫服務器節點的過程中，每擴展一個節點都需要修改分布式數據庫集群平臺中Mycat數據庫中間件服務器的多個配置文件。特別是當分布式數據庫集群平臺中使用多個Mycat數據庫中間件服務器時，對各個Mycat服務器配置文件修改會一個非常麻煩的事情。此外，人工手動修改服務器配置文件可能會帶來誤操作，使得Mycat中間件服務器在修改配置文件后重啟失敗，從而導致系統業務處理會中斷一段時間。并且在鐵路沿線工點地質災害監測分析應用中，需要監測的鐵路沿線工點是逐步增加、且每次增加的傳感器種類也可能是變化的，也就是監測數據類型與頻率是不斷變化的，這就要求需要數據庫集群平臺可以根據監測數據增長動態加入數據庫服務器節點；此外，鐵路地質災害監測分析應用系統中的數據庫集群平臺規模較大，使用了多臺數據庫中間件Mycat服務器。每當在鐵路監測工點中增加一個或兩個傳感器設備時，其監測數據存儲就需要擴充1個MySQL數據庫服務器節點。因此，在鐵路沿線工點地質災害監測分析應用中，相應的分布式數據庫集群平臺需要頻繁、動態、實時地進行節點的擴展與修改。而在節點擴展的過程中，如果僅由工作人員進行節點的自主選擇與設定，工作人員可能會因為頻繁地進行節點擴展選擇而出現人為錯誤選擇或者無法做出選擇；而錯誤的選擇可能會存在選擇到狀態不佳的節點、導致分布式數據庫集群系統出現效率低下的問題。并且由于在每個節點服務器加入集群平臺的過程中，都需要在中間件服務器的幾個配置文件中進行參數配置處理。如果數據庫集群的服務器節點增加是采用人工手動修改多個中間件服務器配置文件的方式來添加服務器節點，會特別繁瑣，并且會帶來人工修改配置容易出錯、業務系統暫停服務、平臺運維人員要求高等問題。