[發明專利]一種處理對象存儲元數據的方法和裝置

在審

• 申請號: 201910531925.1
• 申請日: 2019-06-19
• 公開（公告）號: CN112115206A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 崔燦;蔡慶明
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/21;G06F16/22;G06F16/2457
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

本發明公開了一種處理對象存儲元數據的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：將當前對象存儲元數據存儲至寫入庫，當所述寫入庫寫滿或發生故障時，將所述寫入庫降級為只讀庫；按照設定的時間間隔，將所述只讀庫中的對象存儲元數據合并至穩定庫；清空所述只讀庫，并將清空后的所述只讀庫作為備用庫，當所述寫入庫寫滿或發生故障時，將所述備用庫作為新的寫入庫。該實施方式因為采用多個數據庫集群互相配合的技術手段，所以克服了當對象數量較多時單機數據庫性能不穩定的技術問題，進而達到在對象數量極大的情況下也能穩定處理元數據的技術效果，同時還能達到輕松擴展到支持千億級別對象的目的。

技術領域

本發明涉及計算機技術領域，尤其涉及一種處理對象存儲元數據的方法和裝置。

背景技術

近幾年來，對象存儲作為公有云最重要的支撐服務，支撐了直播、點播、圖片等多種業務，特別是這幾年各種視頻類業務的發展，各種視頻，圖片類的數據越來越多，對象存儲需要一個大規模的元數據管理系統來管理元數據。一般來講，一個對象一般包括對象名字，對象數據(無格式的數據)以及附加在對象上的一些屬性(Meta，例如對象的修改時間)。對象存儲就是用來存儲對象的分布式存儲服務。對象的名字、對象的屬性以及對象數據存儲的位置，就是對象的元數據(即對象存儲元數據)。對象存儲元數據的訪問主要有兩種方式，一種是通過對象的名字獲取到對象的數據和Meta信息，一種是查詢某個對象后面的所有對象。目前常見的方式是使用關系型數據庫來管理對象存儲元數據，數據庫本身技術很成熟且各大公司維護經驗豐富，是一種非常適合的元數據存儲系統。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1.通過關系數據庫來管理對象存儲元數據，存儲的容量嚴重依賴單機的服務能力，在對象數量較多(達到百億級別)的時候，單機關系數據庫的性能不穩定。

2.通過分庫分表解決單機性能不穩定的問題，會讓范圍查詢變的復雜甚至不可行，業務增長導致數據庫需要進一步拆分，成本極高。

發明內容

有鑒于此，本發明實施例提供一種處理對象存儲元數據的方法和裝置，能夠解決當對象數量較多時單機數據庫性能不穩定的問題，容易擴展，能輕松擴展到支持千億級別的對象。

為實現上述目的，根據本發明實施例的一個方面，提供了一種處理對象存儲元數據的方法，包括：將當前對象存儲元數據存儲至寫入庫，當所述寫入庫寫滿或發生故障時，將所述寫入庫降級為只讀庫；按照設定的時間間隔，將所述只讀庫中的對象存儲元數據合并至穩定庫；清空所述只讀庫，并將清空后的所述只讀庫作為備用庫，當所述寫入庫寫滿或發生故障時，將所述備用庫作為新的寫入庫。

可選地，按照設定的時間間隔，將所述只讀庫中的對象存儲元數據合并至穩定庫，包括：按照設定的時間間隔，從當前穩定庫中隨機選出設定數量的對象存儲元數據，并根據所述對象存儲元數據計算出拆分點；根據所述拆分點，生成元數據表和元數據范圍記錄表；其中，所述元數據范圍記錄表中記錄所述元數據表的存儲范圍；基于所述元數據表和所述元數據范圍記錄表，將所述只讀庫中的對象存儲元數據合并至穩定庫。

可選地，基于所述元數據表和所述元數據范圍記錄表，將所述只讀庫中的對象存儲元數據合并至穩定庫，包括：依次遍歷讀取所述當前穩定庫的對象存儲元數據和所述只讀庫的對象存儲元數據，寫入到所述元數據表；所述元數據表和所述元數據范圍記錄表構成新穩定庫；將所述當前穩定庫和所述只讀庫中的對象存儲元數據與所述新穩定庫中的對象存儲元數據進行離線對比校驗；校驗通過后將集群配置中指向當前穩定庫的配置，修改為指向新穩定庫，并刪除當前穩定庫。

可選地，所述方法還包括：基于對象名字，查詢N個對象名字對應的對象存儲元數據；其中，N為正整數；根據所述對象名字對應的對象存儲元數據返回查詢結果集合。