[發明專利]一種基于時間序列預測的數據中心負載均衡方法

在審

• 申請號: 202010624411.3
• 申請日: 2020-07-02
• 公開（公告）號: CN111787109A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 孫孟昊;董宇欣
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06N3/04;G06N3/08
• 代理公司: 哈爾濱三目知識產權代理事務所(普通合伙) 23214
• 代理人: 劉冰

一種基于時間序列預測的數據中心負載均衡方法。隨著互聯網用戶的急劇增加，每天產生的數據迅速增長。傳統的單一節點服務器已經無法滿足企業網站的需求。然而由于數據存放在不同的節點，有的節點會被用戶更多的訪問，有些節點存儲的數據會被用戶經常訪問，這樣會導致性能瓶頸。由此本發明的一種基于時間序列預測的數據中心負載均衡方法引入時間序列預測方法，通過該方法對數據中心的用戶訪問行為進行建模，從而預測每個服務器和整體數據中心的負載情況，從而使每個數據中心的數據得到優化訪問。

技術領域

本發明涉及一種基于時間序列預測的數據中心負載均衡方法。

背景技術

隨著互聯網用戶的急劇增加，每天產生的數據迅速增長。傳統的單一節點服務器已經無法滿足企業網站的需求。分布式數據中心能夠滿足高并發，海量存儲以及處理海量數據請求的要求，因而成為大型企業的首選解決方案。

然而，分布式的存儲系統引入了另外一個問題，由于數據存放在不同的節點，有的節點會被用戶更多的訪問，有些節點存儲的數據會被用戶經常訪問。這樣會導致性能瓶頸。在被用戶經常訪問的節點里，由于單一節點的服務器的計算資源有限。計算資源包括CPU，內存，帶寬，以及硬盤。考慮到單一節點的計算能力受制于硬件，該節點的CPU，內存，硬盤和網卡資源有瓶頸，所以當出現大量訪問集中在某些節點的時候，可能導致該服務器的CPU，內存和網絡帶寬處于100%使用率的狀態，導致無限長的請求隊列，在某些情況下，可能導致服務器的訪問速度非常緩慢，在極端的情況下，可能會導致服務器宕機，出現關鍵的文件無法訪問問題。

負載不均衡還可能導致硬件成本的上升。不合理的負載可能導致某些服務器被過分使用，而剩下的服務器非常空閑。合理的負載均衡算法在理想狀態下，能夠充分利用每臺服務器的計算資源，提高服務器的利用率，從而達到減少服務器的效果。對于不需要的服務器，可以在數據中心進行休眠或者移除，從而減少成本。

主流的分布式存儲系統自身提供了負載均衡系統。在存儲文件時候，這些分布式文件系統按照一致性哈希將文件存儲在不同的節點里。有大量的文獻關注了一致性哈希算法的研究。一致性哈希算法將每次存儲的文件進行哈希值的計算，并且根據計算的哈希值將文件存儲在相對應的服務器節點里。單純利用一致性哈希算法來確定文件的存儲位置會導致很多問題，例如文件的存儲位置不夠靈活。所以，在很多分布式存儲系統中，引入了虛擬節點的概念，例如上文提到的Swift等。這些算法在存儲一個文件的時候，首先對文件進行哈希值的計算，通過計算的哈希值將文件映射到虛擬的節點，并且全局有一個表，該表記錄了哪些服務器存放了哪些虛擬節點，也就是虛擬節點和服務器是多對一的關系。通過這樣的形式，允許通過修改全局的虛擬節點映射表將虛擬節點移動到合適的服務器里。雖然有這樣的負載均衡系統，效果依然差強人意。考慮到不同的行業的企業用戶行為的不一致，產生熱點數據的行為也不一致。例如新聞傳媒類網站，熱點數據集中在比較新的文章里，而陳舊的文章數據可能會被較少訪問到。同時時間性因素也會影響熱點數據，某些數據可能會受時間的影響明顯，比如在節假日，旅行信息的數據會更加被人關注等。

針對這些問題，一致性哈希算法不能很好的解決，因為它缺乏針對性以及動態性。一致性哈希能確保數據盡量被平均存儲，卻不能確保數據訪問被平攤。考慮到負載行為與應用相關，所以，本發明引入時間序列預測的方法，對數據中心的資源進行優化，為用戶的訪問請求提前做好準備，提高資源的利用率。

發明內容

本發明的目的是為了解決現有的互聯網用戶的急劇增加，數據存放在不同的節點，有的節點會被用戶更多的訪問，有些節點存儲的數據會被用戶經常訪問，這樣會導致性能瓶頸的問題，而提出一種基于時間序列預測的數據中心負載均衡方法。

一種基于時間序列預測的數據中心負載均衡方法，所述方法包括如下過程，利用時間序列預測方法對用戶的訪問行為建立模型，并通過神經網絡對所建立模型進行訓練得到自適應的負載均衡模型，利用負載均衡模型預測每個服務器和整體數據中心的負載情況，優化每個數據中心的數據的訪問行為；