[發明專利]數據存儲位置信息的管理方法和裝置

在審

• 申請號: 201610088248.7
• 申請日: 2016-02-17
• 公開（公告）號: CN107092598A
• 公開（公告）日: 2017-08-25
• 發明（設計）人: 黃碩;陸靖;姚文輝;劉俊峰;張海勇;朱家稷
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 許志勇,劉戈

技術領域

本申請屬于云計算技術領域，具體地說，涉及一種數據存儲位置信息的管理方法和裝置。

背景技術

在大規模分布式文件系統中，為了達到容錯、可用性、性能等方面的目的，一種常見設計是將文件切分為一系列的數據塊，并在多個不同數據存儲設備(Data Server)上存儲同一個數據塊的多個副本。這些數據副本的位置信息(即副本所在數據存儲設備的存儲位置)十分重要，它們是客戶端(Client)讀寫數據時的尋址依據，也是進行數據分布控制、副本數量管理的信息來源。通常，文件系統的元數據服務器(Meta Server)會對系統中的副本位置信息進行存儲和管理。

現有的技術方案主要為：在元數據服務器的內存結構中維護所有的數據副本的位置信息，不對其進行持久化存儲。當系統運行時，元數據服務器與多個數據存儲設備間不斷通信，來持續獲取并更新元數據服務器中的副本位置信息，記錄當前最新的副本位置；客戶端訪問元數據服務器來獲取“讀”所需的副本位置，或者“寫”所需的新副本位置。當元數據服務器發生冷啟動或者重啟時(例如由于故障或者升級需要)，由于內存的數據易失性，之前的副本位置信息全部丟失，元數據服務器直接從所有的數據存儲設備上重新獲取當前的副本位置信息。在一個數據存儲設備的所有副本位置信息被獲取前，該數據存儲設備被認為是“恢復中”狀態，元數據服務器不允許對其進行訪問。大量數據存儲設備處于“恢復中”狀態時，分布式文件系統不對外提供服務。

元數據服務器重啟時從所有的數據存儲設備上重新獲取當前數據副本 位置信息的用時較長。由于這段時間內系統無法對外服務，使得系統的故障恢復時間和升級用時變長，從而降低了系統的可用性、可運維性。

發明內容

有鑒于此，本申請提供了一種數據存儲位置信息的管理方法和裝置，以解決元數據服務器重啟用時較長，導致分布式文件系統無法對外服務的時間較長的技術問題。

為了解決上述技術問題，本申請公開了一種數據存儲位置信息的管理方法，包括：根據預設規則持久化保存內存狀態，其中，所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息；在重啟之后，將內存狀態恢復到重啟前持久化保存的內存狀態；根據所述數據存儲設備的狀態信息恢復正常狀態的數據存儲設備的訪問。

為了解決上述技術問題，本申請還公開了一種數據存儲位置信息的管理方法，包括：根據預設規則持久化保存內存狀態，其中，所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息；當出現不可用的數據存儲位置信息時，對于與所述不可用的數據存儲位置信息對應的數據，判斷所述數據可用的數據存儲位置信息的數量是否大于或等于預設門限；當所述數據可用的數據存儲位置信息的數量大于或等于預設門限時，刪除所述不可用的數據存儲位置信息；當所述數據可用的數據存儲位置信息的數量小于預設門限時，保存所述不可用的數據存儲位置信息。

為了解決上述技術問題，本申請還公開了一種數據存儲位置信息的管理裝置，包括：持久化模塊，用于根據預設規則持久化保存內存狀態，其中，所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息；內存恢復模塊，用于在重啟之后，將內存狀態恢復到重啟前持久化保存的內存狀態；訪問恢復模塊，用于根據所述數據存儲設備的狀態信息恢復正常狀態的數據存儲設備的訪問。

為了解決上述技術問題，本申請還公開了一種數據存儲位置信息的管理裝置，包括：持久化模塊，用于根據預設規則持久化保存內存狀態，其中， 所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息；判斷模塊，用于當出現不可用的數據存儲位置信息時，對于與所述不可用的數據存儲位置信息對應的數據，判斷所述數據可用的數據存儲位置信息的數量是否大于或等于預設門限；刪除模塊，用于當所述數據可用的數據存儲位置信息的數量大于或等于預設門限時，刪除所述不可用的數據存儲位置信息；保存模塊，用于當所述數據可用的數據存儲位置信息的數量小于預設門限時，保存所述不可用的數據存儲位置信息。

與現有技術相比，本申請可以獲得包括以下技術效果：縮短了元數據服務器重啟時重建內存中數據存儲位置信息的用時，減少了分布式文件系統無法對外服務的時長，提高了系統的可用性和可運維性。

當然，實施本申請的任一產品必不一定需要同時達到以上所述的所有技術效果。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：

圖1是本申請實施例的一種數據存儲位置信息的管理方法的流程圖；