[發明專利]結合Kubernetes和Ceph的遙感數據存儲系統、存儲及檢索方法

在審

• 申請號: 202010126255.8
• 申請日: 2020-02-26
• 公開（公告）號: CN113312345A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 肖敏;胡風華;畢俊;王千一;林瑞峰;武楓
• 申請（專利權）人: 中科星圖股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 張繼鑫

1.一種結合Kubernetes和Ceph的遙感數據存儲系統，其特征在于，包括交互層、服務層、數據緩存層和數據存儲層；其中，

所述交互層用于與客戶端進行交互，接收客戶端上傳的遙感數據和/或根據用戶的遙感數據查詢請求提供對應的遙感數據；所述遙感數據包括元數據文件和影像文件；

所述服務層用于為客戶端上傳的遙感數據生成隊列并通過數據緩存層分發到數據存儲層；和/或根據客戶端查詢請求在數據緩存層及數據存儲層中查詢對應的遙感數據；

所述數據緩存層用于緩存所述遙感數據；

所述數據存儲層包括用于在MongoDB數據庫中存儲所述元數據文件以及在Ceph分布式存儲系統中存儲所述影像文件。

2.根據權利要求1所述的系統，其特征在于，

所述交互層、所述服務層和所述數據緩存層部署于Kubernetes集群的master節點中；

所述數據存儲層部署于Kubernetes集群的worker節點中。

3.根據權利要求2所述的系統，其特征在于，

所述MongoDB數據庫和所述Ceph分布式存儲系統分別部署于Kubernetes集群的worker節點中。

4.根據權利要求2所述的方法，其特征在于，所述服務層包括消息隊列模塊、任務調度模塊、遙感元數據解析模塊、數據庫操作模塊和存儲操作模塊。

5.根據權利要求4所述的方法，其特征在于，所述任務調度模塊用于根據一致性哈希算法，建立隊列數據與worker節點之間的映射關系。

6.一種結合Kubernetes和Ceph的遙感數據存儲方法，應用于如權利要求1-5所述的存儲系統，其特征在于，包括：

交互層接收客戶端通過PUSH方式定義的通用接口提交的遙感數據；所述遙感數據包括元數據文件和影像文件；

服務層為所述遙感數據生成隊列數據并通過數據緩存層分發到數據存儲層；所述隊列數據包括元數據文件隊列數據和影像文件隊列數據；

數據緩存層將隊列數據緩存在內存型緩存中；

數據存儲層將所述元數據文件隊列數據存儲到MongoDB數據庫，將所述影像隊列數據存儲到Ceph分布式存儲系統中。

7.一種結合Kubernetes和Ceph的遙感數據查詢方法，應用于如權利要求1-5所述的存儲系統，其特征在于，包括：

交互層接收客戶端通過PULL方式定義的通用接口提交的數據檢索請求；

服務層接收所述數據檢索請求，向緩存層查詢所述數據；

緩存層根據所述查詢請求中給定的鍵值查詢緩存層的內存中是否包含請求所需數據信息；若命中緩存，則將對應的元數據文件或影像文件信息返回給客戶端；

若未命中，在數據存儲層的MongoDB的分布式存儲系統和基于Ceph的分布式存儲系統中查詢所述數據，將獲取的所需數據信息返回給客戶端。

8.根據權利要求7所述的方法，其特征在于，將獲取的所需數據信息返回給客戶端包括：

將獲取的所需數據信息通過服務層及交互層返回對應的元數據文件或影像文件信息給客戶端，并回寫至緩存層的內存中。

9.一種電子設備，包括存儲器和處理器，所述存儲器上存儲有計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求6～8中任一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求6～8中任一項所述的方法。