[發明專利]分布式文件系統中節點選擇方法及裝置

有效

• 申請號: 201611270843.9
• 申請日: 2016-12-29
• 公開（公告）號: CN106709045B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 張勤
• 申請（專利權）人: 北京同有飛驥科技股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種分布式文件系統中節點選擇方法，包括步驟：在檢測到數據讀取指令時，根據加權二叉樹算法計算讀取路徑；根據讀取路徑確定讀取所述數據的節點，從所述節點讀取所述數據。本發明還公開了一種分布式文件系統中節點選擇裝置。本發明通過加權二叉樹算法可以根據特定的條件快速找到需要的樹節點，提高了分布式數據的提取速度。

技術領域

本發明涉及分布式數據存儲技術領域，尤其涉及一種分布式文件系統中節點選擇方法及裝置。

背景技術

隨著網絡技術及信息處理技術的不斷發展，個人數據和企業數據的產生量呈現爆炸性膨脹的趨勢，IT系統正面臨著海量數據存儲成本高、管理困難、可靠性低的問題，為了充分利用資源，減少重復的投資，數據存儲作為IT系統的主要架構和基礎設施之一，逐步被作為一個完整的系統從IT系統中獨立出來，分布式文件系統因為具有海量數據存儲、高擴展性、高性能、高可靠性、高可用性的特點，目前正被作為企業海量數據存儲方案被業界所廣泛討論和應用。

分布式文件系統旨在通過在網絡環境下構建具有高傳輸性能、高可靠性、高可用性的網絡分布式文件系統，通過網絡數據流方式實現對海量文件系統中的數據進行存儲和訪問，解決大規模非結構化數據的存儲、查詢、高性能讀取、高容錯性的問題，為IT系統提供高性能、高可靠性、高可用性的存儲應用服務，并為今后的分布式計算研究提供技術基礎。

分布式文件系統將相同的文件同時存儲到網絡上多臺服務器后，當客戶端通過DFS訪問文件時，DFS會引導客戶端從最接近客戶端的服務器來訪問文件，讓客戶端快速訪問到所需的文件。在現有技術中，在低成本及可擴展的分布式數據中，如何解決數據存儲及提取的方式為當前解決要點。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種分布式文件系統中節點選擇方法及裝置，旨在解決現有的分布式存儲方式中分布式數據快速提取的問題。

為實現上述目的，本發明提供的一種分布式文件系統中節點選擇方法，包括以下步驟：

在檢測到數據讀取指令時，根據加權二叉樹算法計算讀取路徑；

根據讀取路徑確定讀取所述數據的節點，從所述節點讀取所述數據。

優選地，所述在檢測到數據讀取指令時，根據加權二叉樹算法計算讀取路徑的步驟之前，還包括：

為存儲分布式文件的節點組成的二叉樹配置OSD路徑加權值；

以二叉樹的根節點為起點，根據HASH算法及OSD路徑加權值遍歷二叉樹中的節點并存入OSD MAP中；

根據OSD MAP中的節點信息生成加權二叉樹。

優選地，所述在檢測到數據讀取指令時，根據加權二叉樹算法計算讀取路徑的步驟包括：

以加權二叉樹中發送數據讀取指令的節點為起點，根據節點左OSD路徑加權值、右OSD路徑加權值中較大者及加權二叉樹算法計算讀取路徑。

優選地，所述方法還包括：

當OSD容量和/或狀態變化時，根據HASH算法及OSD路徑加權值計算HASH值，并將HASH值與節點左右子樹的OSD數目進行比較；

當HASH值小于左子樹的OSD數目時，選擇左節點，否則選擇右節點；

將節點重新映射到OSD MAP中。

優選地，所述方法還包括：

當獲取到OSD MAP中的節點故障信息時，查找新的節點替代發生故障的節點；

當所述發生故障的節點恢復正常時，該節點重新加入OSD MAP中。