[發明專利]一種基于CMSP和KUDU的分布式對象存儲架構和平臺

有效

• 申請號: 201811569819.4
• 申請日: 2018-12-21
• 公開（公告）號: CN109669916B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李朝銘;鄧光超;崔洪志;王建華;林杰
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/182
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

1.一種基于CMSP和KUDU的分布式對象存儲架構和平臺，其特征在于,包括對象存儲服務端和對象存儲客戶端；

所述對象存儲服務端包括對象存儲節點、對象存儲管理節點、對象存儲元數據節點、對象存儲元數據管理節點四部分，若干個對象存儲元數據節點組成對象存儲元數據集群，對象存儲節點是實際的對象存儲服務器，每個對象存儲節點包括至少一個Topic、至少一個容器和一組對象存儲服務，其中：至少一個Topic用于緩存對象存儲客戶端發過來待存的對象數據，還可根據需求配置若干Topic用于復制緩存的對象數據，復制功能利用CMSP的復制功能實現，復制的緩存對象數據可發送到其它對象存儲節點進行備份，其中，一個對象可以有多個副本，并可異地存儲，以保證對象存儲的高可用，發送功能利用CMSP的發送功能實現；至少一個容器用于實際存儲對象數據，容器是一個文件系統文件或一個邏輯卷或一塊裸盤或一個LUN或一塊內存，對象寫入容器時，可以不依賴操作系統的文件系統，采用非緩沖方式直接寫入容器中；一組對象存儲服務包括容器的創建、增加、刪除、監控，包括對象的存儲、獲取、更新、更名、刪除、判斷對象是否存在、元數據生成各項服務；

所述對象存儲客戶端包括一組對象存儲API；

所述對象存儲節點、對象存儲管理節點、對象存儲元數據管理節點三部分分別基于CMSP實現，所述對象存儲元數據節點基于KUDU實現；實現過程中：每個對象存儲節點可支持PB級存儲，對象存儲節點在邏輯上獨立，對象存儲平臺由若干個對象存儲節點組成，對象存儲節點數目可線性動態擴展到上萬個，也可以根據需要動態減少；對象存儲管理節點提供對象存儲節點的注冊功能，給對象存儲客戶端提供對象路由功能，通過對象存儲管理節點對象存儲客戶端不需要關心對象具體存儲在哪個對象存儲節點上，少部分對象存儲節點失效不會影響對象存儲客戶端操作；

對象存儲應用通過對象存儲API與對象存儲管理節點、對象存儲元數據集群相連，并最終連接到某個具體的對象存儲節點，通過該具體的對象存儲節點進行對象的存儲、獲取、更新、命名或刪除操作。

2.根據權利要求1所述的一種基于CMSP和KUDU的分布式對象存儲架構和平臺，其特征在于，對象存儲元數據節點包含所有對象存儲節點所有對象的元數據，具體是通過kudu分布式數據庫實現的，對象存儲元數據存儲于kudu中。

3.根據權利要求2所述的一種基于CMSP和KUDU的分布式對象存儲架構和平臺，其特征在于，對象存儲元數據管理節點基于CMSP實現；對象存儲元數據管理節點是將來自各個對象存儲節點的元數據實時寫入對象存儲元數據節點集群中。

4.根據權利要求1所述的一種基于CMSP和KUDU的分布式對象存儲架構和平臺，其特征在于，對象存儲API供對象存儲應用調用；對象存儲API包括對象的上傳、下載、更新、更名、查詢功能，對象存儲API還包括連接池功能，使對象存儲應用調用API時簡單高效。

5.根據權利要求1或4所述的一種基于CMSP和KUDU的分布式對象存儲架構和平臺，其特征在于，對象存儲客戶端可以有很多個，對象存儲服務端支持成千上萬的對象存儲客戶端并發訪問。

6.根據權利要求1所述的一種基于CMSP和KUDU的分布式對象存儲架構和平臺，其特征在于，對象存儲元數據節點包含所有對象存儲節點所有對象的元數據，存儲架構和平臺還支持利用其它分布式數據庫進行對象存儲元數據存取。