[發明專利]一種實現區塊分布存儲式的系統、方法及介質

在審

• 申請號: 202011344356.9
• 申請日: 2020-11-26
• 公開（公告）號: CN112463830A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 林楷智;陳明睿;蔡志愷
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種實現區塊分布存儲式的系統，包括：若干用戶節點用于發送資源請求；若干中間節用于接收資源請求并將資源發送所述區塊來源節點儲存所有用戶節點資源請求的對應資源，資源決策管理單元用于預測模型的建立，并將預測模型發送到節點管理叢集單元，節點管理叢集單元根據預測模型對中間節點進行資源預加載告警，通過上述方式，本發明能夠通過建立星際文件系統網絡時得每一個中間節點都可以為用戶提供資源，節點管理叢集單元和資源決策管理單元的相互配合，提前對熱度高的資源進行定向預加載，避免服務器瞬時響應過多而導致的延遲。

技術領域

本發明涉及分布式緩存技術領域，特別是涉及一種實現區塊分布存儲式的系統、方法及介質。

背景技術

隨著國際網路的發展，傳統的服務器漸漸的無法負荷大流量的訪問，用戶跨國瀏覽時并非使用當地的服務器，而是跨海連線到遠端國家的服務器中訪問內容，造成嚴重的延遲狀況，而且瞬間大量的請求非常容易使遠端國家的服務器處理器頻寬過載，導致使用者無法流暢的體驗，因此發展了許多相對解決方案，如大量建立服務器提供長期服務，負載均衡等相關的策略。

現今的存儲技術多數為本地或購買云端集中式的儲存硬體，搭配建設服務器于各地區的手段，進而為用戶提供服務，通過內容交付網絡進行緩存內容信息的方式同步到各地的服務器中，就近提供用戶所需要的信息，采用分布式存儲架構去中心化的概念，但實際上資源還是通過中心服務器提供，類似大規模的集中式存儲架構，而集中式存儲架構造價成本極高與不易擴充性與維護災難風險較高。

以星際文件系統網絡類似于內容交付網絡，用戶與用戶進行區塊式連接，通過每一個用戶進行中間節點的數據傳送，大大降低了存儲的成本問題，但是對于熱點資源，用戶節點同時對附近的中間節點發出區塊請求，此時只有少數擁有該資源的中間節點可以應答，因此其緩存效果非常不明顯，并且造成少數擁有資源的節點于瞬間請求下壓力大增，甚至可能無法負荷。

發明內容

本發明主要解決的技術問題是提供一種實現區塊分布存儲式的系統、方法及介質，能夠解決用戶訪問相應延遲導致服務器瞬時負載過大，導致無法負荷，中間節點緩存效果不理想的問題。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種實現區塊分布存儲式的系統，包括：節點管理叢集單元、資源決策管理單元、區塊來源節點、若干用戶節點和中間節點；

所述中間節點連接在所述用戶節點與所述區塊來源節點之間，若干所述中間節點之間相互連接；所述資源決策管理單元分別與所述中間節點和所述節點管理叢集單元連接；所述節點管理叢集單元分別與若干所述中間節點連接；

所述用戶節點用于發送資源請求至所述中間節點；

所述中間節點用于轉發資源請求并完成資源緩存；

所述資源決策管理單元用于獲取所述用戶節點對所述中間節點的資源請求，資源決策管理單元對中間節點的資源和信息進行統計，資源決策管理單元根據統計結果預測資源熱度并建立預測模型，并將預測模型發送到所述節點管理叢集單元；

所述節點管理叢集單元用于根據預測模型預測出熱點資源，節點管理叢集單元找到熱點資源所在區域，并對所述區域內需要熱點資源的所述中間節點進行資源預加載告警。

進一步，所述中間節點接收資源請求并查詢自身是否緩存有對應資源請求的資源，若有則將資源返回所述用戶節點，若沒有則將資源請求轉移到其他的所述中間節點，其他的中間節點找到資源后將資源反饋給用戶節點，同時中間節點通過所述區塊來源節點進行對應用戶節點資源的緩存。

進一步，所述節點管理叢集單元設有授權節點數據庫，授權節點數據庫記錄所述用戶節點與所述中間節點的區域信息、城市信息和節點種類信息，節點管理叢集單元根據預測模型對資源熱度高的區域內所有中間節點進行預加載告警。

進一步，所述用戶節點和所述中間節點均連入星際文件系統網絡，用戶節點與中間節點一一對應。