[發明專利]一種基于CMSP和KUDU的分布式對象存儲架構和平臺

有效

• 申請號: 201811569819.4
• 申請日: 2018-12-21
• 公開（公告）號: CN109669916B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李朝銘;鄧光超;崔洪志;王建華;林杰
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/182
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

本發明公開一種基于CMSP和KUDU的分布式對象存儲架構和平臺，涉及存儲架構技術領域，包括對象存儲服務端和對象存儲客戶端。對象存儲服務端包括對象存儲節點、對象存儲管理節點、對象存儲元數據節點、對象存儲元數據管理節點四部分，若干個對象存儲元數據節點組成對象存儲元數據集群。對象存儲客戶端包括一組對象存儲API。對象存儲節點、對象存儲管理節點、對象存儲元數據管理節點三部分分別基于CMSP實現，對象存儲元數據節點基于KUDU實現。對象存儲應用通過對象存儲API與對象存儲管理節點、對象存儲元數據集群相連，并最終連接到某個具體的對象存儲節點，通過該具體的對象存儲節點進行對象的存儲、獲取、更新、命名或刪除操作，實現對象存儲大容量平滑擴展。

技術領域

本發明涉及存儲架構技術領域，具體的說是一種基于CMSP和KUDU的分布式對象存儲架構和平臺。

背景技術

大數據分為結構化數據、半結構化數據和非結構化數據，而半結構化數據最終存儲時要么轉換為結構化數據，要么以非結構化數據存在，非結構化數據在存儲量(空間占用)方面遠遠大于結構化數據，因此非結構化數據的存儲技術對存儲利用大數據非常關鍵。

現有的非結構化數據有的分散存儲于不同主機上文件系統中，分散存儲不利于管理和利用；有的存儲于分布式文件系統中，如HDFS，邏輯上統一管理，但HDFS架構上擴展性有缺陷，不能處理太大規模的非結構化數據，另外不適合于對于遲延要求較低的場景。

現有的非結構化數據也可以存儲于對象存儲中，目標數據從對象中進行讀寫，然后通過鍵值獲取對應的對象，整個存儲的形式為key-object的存儲方式，較典型的例子：開源的Ceph、亞馬遜的S3存儲和阿里云的OSS存儲，對象存儲可以管理更多的非結構化數據，不同的對象存儲因技術不同也各有優缺，如一些不能夠平滑擴展、成本問題、較高遲延等。

發明內容

本發明針對目前技術發展的需求和不足之處，提供一種基于CMSP和KUDU的分布式對象存儲架構和平臺，在普通硬件條件下以較低成本實現對象存儲高可靠、高性能和大容量平滑擴展。

本發明的一種基于CMSP和KUDU的分布式對象存儲架構和平臺，解決上述技術問題采用的技術方案如下：

一種基于CMSP和KUDU的分布式對象存儲架構和平臺，包括對象存儲服務端和對象存儲客戶端。

對象存儲服務端包括對象存儲節點、對象存儲管理節點、對象存儲元數據節點、對象存儲元數據管理節點四部分，若干個對象存儲元數據節點組成對象存儲元數據集群。

對象存儲客戶端包括一組對象存儲API。

對象存儲節點、對象存儲管理節點、對象存儲元數據管理節點三部分分別基于CMSP實現，對象存儲元數據節點基于KUDU實現。

對象存儲應用通過對象存儲API與對象存儲管理節點、對象存儲元數據集群相連，并最終連接到某個具體的對象存儲節點，通過該具體的對象存儲節點進行對象的存儲、獲取、更新、命名或刪除操作。

可選的，所涉及對象存儲節點是實際的對象存儲服務器，每個對象存儲節點包括至少一個Topic、至少一個容器和一組對象存儲服務。

至少一個Topic用于緩存對象存儲客戶端發過來待存的對象數據，還可根據需求配置若干Topic用于復制緩存的對象數據，復制功能利用CMSP的復制功能實現，復制的緩存對象數據可發送到其它對象存儲節點進行備份，其中，一個對象可以有多個副本，并可異地存儲，以保證對象存儲的高可用，發送功能利用CMSP的發送功能實現。

至少一個容器用于實際存儲對象數據，容器可為一個文件系統文件、一個邏輯卷、一塊裸盤、一個LUN、一塊內存等不同的介質，對象數據可靠地寫入容器中，即使服務器發生掉電故障，已寫入的對象數據也不會丟失(不包括易失的內存容器)；對象寫入容器時，可以不依賴操作系統的文件系統，采用非緩沖方式直接寫入容器中，性能更高且可靠，對內存的需求也很少。