[發明專利]數據存儲位置信息的管理方法和裝置在審
| 申請號: | 201610088248.7 | 申請日: | 2016-02-17 |
| 公開(公告)號: | CN107092598A | 公開(公告)日: | 2017-08-25 |
| 發明(設計)人: | 黃碩;陸靖;姚文輝;劉俊峰;張海勇;朱家稷 | 申請(專利權)人: | 阿里巴巴集團控股有限公司 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30 |
| 代理公司: | 北京國昊天誠知識產權代理有限公司11315 | 代理人: | 許志勇,劉戈 |
| 地址: | 英屬開曼群島大開*** | 國省代碼: | 暫無信息 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據 存儲 位置 信息 管理 方法 裝置 | ||
技術領域
本申請屬于云計算技術領域,具體地說,涉及一種數據存儲位置信息的管理方法和裝置。
背景技術
在大規模分布式文件系統中,為了達到容錯、可用性、性能等方面的目的,一種常見設計是將文件切分為一系列的數據塊,并在多個不同數據存儲設備(Data Server)上存儲同一個數據塊的多個副本。這些數據副本的位置信息(即副本所在數據存儲設備的存儲位置)十分重要,它們是客戶端(Client)讀寫數據時的尋址依據,也是進行數據分布控制、副本數量管理的信息來源。通常,文件系統的元數據服務器(Meta Server)會對系統中的副本位置信息進行存儲和管理。
現有的技術方案主要為:在元數據服務器的內存結構中維護所有的數據副本的位置信息,不對其進行持久化存儲。當系統運行時,元數據服務器與多個數據存儲設備間不斷通信,來持續獲取并更新元數據服務器中的副本位置信息,記錄當前最新的副本位置;客戶端訪問元數據服務器來獲取“讀”所需的副本位置,或者“寫”所需的新副本位置。當元數據服務器發生冷啟動或者重啟時(例如由于故障或者升級需要),由于內存的數據易失性,之前的副本位置信息全部丟失,元數據服務器直接從所有的數據存儲設備上重新獲取當前的副本位置信息。在一個數據存儲設備的所有副本位置信息被獲取前,該數據存儲設備被認為是“恢復中”狀態,元數據服務器不允許對其進行訪問。大量數據存儲設備處于“恢復中”狀態時,分布式文件系統不對外提供服務。
元數據服務器重啟時從所有的數據存儲設備上重新獲取當前數據副本 位置信息的用時較長。由于這段時間內系統無法對外服務,使得系統的故障恢復時間和升級用時變長,從而降低了系統的可用性、可運維性。
發明內容
有鑒于此,本申請提供了一種數據存儲位置信息的管理方法和裝置,以解決元數據服務器重啟用時較長,導致分布式文件系統無法對外服務的時間較長的技術問題。
為了解決上述技術問題,本申請公開了一種數據存儲位置信息的管理方法,包括:根據預設規則持久化保存內存狀態,其中,所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息;在重啟之后,將內存狀態恢復到重啟前持久化保存的內存狀態;根據所述數據存儲設備的狀態信息恢復正常狀態的數據存儲設備的訪問。
為了解決上述技術問題,本申請還公開了一種數據存儲位置信息的管理方法,包括:根據預設規則持久化保存內存狀態,其中,所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息;當出現不可用的數據存儲位置信息時,對于與所述不可用的數據存儲位置信息對應的數據,判斷所述數據可用的數據存儲位置信息的數量是否大于或等于預設門限;當所述數據可用的數據存儲位置信息的數量大于或等于預設門限時,刪除所述不可用的數據存儲位置信息;當所述數據可用的數據存儲位置信息的數量小于預設門限時,保存所述不可用的數據存儲位置信息。
為了解決上述技術問題,本申請還公開了一種數據存儲位置信息的管理裝置,包括:持久化模塊,用于根據預設規則持久化保存內存狀態,其中,所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息;內存恢復模塊,用于在重啟之后,將內存狀態恢復到重啟前持久化保存的內存狀態;訪問恢復模塊,用于根據所述數據存儲設備的狀態信息恢復正常狀態的數據存儲設備的訪問。
為了解決上述技術問題,本申請還公開了一種數據存儲位置信息的管理裝置,包括:持久化模塊,用于根據預設規則持久化保存內存狀態,其中, 所述內存狀態包括數據存儲位置信息和數據存儲設備的狀態信息;判斷模塊,用于當出現不可用的數據存儲位置信息時,對于與所述不可用的數據存儲位置信息對應的數據,判斷所述數據可用的數據存儲位置信息的數量是否大于或等于預設門限;刪除模塊,用于當所述數據可用的數據存儲位置信息的數量大于或等于預設門限時,刪除所述不可用的數據存儲位置信息;保存模塊,用于當所述數據可用的數據存儲位置信息的數量小于預設門限時,保存所述不可用的數據存儲位置信息。
與現有技術相比,本申請可以獲得包括以下技術效果:縮短了元數據服務器重啟時重建內存中數據存儲位置信息的用時,減少了分布式文件系統無法對外服務的時長,提高了系統的可用性和可運維性。
當然,實施本申請的任一產品必不一定需要同時達到以上所述的所有技術效果。
附圖說明
此處所說明的附圖用來提供對本申請的進一步理解,構成本申請的一部分,本申請的示意性實施例及其說明用于解釋本申請,并不構成對本申請的不當限定。在附圖中:
圖1是本申請實施例的一種數據存儲位置信息的管理方法的流程圖;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴集團控股有限公司,未經阿里巴巴集團控股有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201610088248.7/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種實現泵體鉆孔夾具體表面鉆鉸孔的裝置
- 下一篇:一種自動排屑的鋼板銑邊機
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 信息記錄介質、信息記錄方法、信息記錄設備、信息再現方法和信息再現設備
- 信息記錄裝置、信息記錄方法、信息記錄介質、信息復制裝置和信息復制方法
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄設備、信息重放設備、信息記錄方法、信息重放方法、以及信息記錄介質
- 信息存儲介質、信息記錄方法、信息重放方法、信息記錄設備、以及信息重放設備
- 信息存儲介質、信息記錄方法、信息回放方法、信息記錄設備和信息回放設備
- 信息記錄介質、信息記錄方法、信息記錄裝置、信息再現方法和信息再現裝置
- 信息終端,信息終端的信息呈現方法和信息呈現程序
- 信息創建、信息發送方法及信息創建、信息發送裝置





