[發(fā)明專利]結(jié)合Kubernetes和Ceph的遙感數(shù)據(jù)存儲系統(tǒng)、存儲及檢索方法

在審

• 申請?zhí)枺?/td>: 202010126255.8
• 申請日: 2020-02-26
• 公開（公告）號: CN113312345A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計）人: 肖敏;胡風(fēng)華;畢俊;王千一;林瑞峰;武楓
• 申請（專利權(quán)）人: 中科星圖股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京華專卓海知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11664
• 代理人: 張繼鑫

本公開的實(shí)施例提供了結(jié)合Kubernetes和Ceph的遙感數(shù)據(jù)存儲系統(tǒng)、存儲及檢索方法。所述存儲系統(tǒng)包括交互層用于與客戶端進(jìn)行交互，接收客戶端上傳的遙感數(shù)據(jù)和/或根據(jù)用戶的遙感數(shù)據(jù)查詢請求提供對應(yīng)的遙感數(shù)據(jù)；所述遙感數(shù)據(jù)包括元數(shù)據(jù)文件和影像文件；服務(wù)層用于為客戶端上傳的遙感數(shù)據(jù)生成隊列并通過數(shù)據(jù)緩存層分發(fā)到數(shù)據(jù)存儲層；和/或根據(jù)客戶端查詢請求在數(shù)據(jù)緩存層及數(shù)據(jù)存儲層中查詢對應(yīng)的遙感數(shù)據(jù)；數(shù)據(jù)緩存層用于緩存所述遙感數(shù)據(jù)；數(shù)據(jù)存儲層包括用于在MongoDB數(shù)據(jù)庫中存儲所述元數(shù)據(jù)文件以及在Ceph分布式存儲系統(tǒng)中存儲所述影像文件。以此方式，實(shí)現(xiàn)了海量遙感數(shù)據(jù)的高效存儲，共享和備份。

技術(shù)領(lǐng)域

本公開的實(shí)施例一般涉及存儲技術(shù)領(lǐng)域，并且更具體地，涉及結(jié)合Kubernetes和Ceph的遙感數(shù)據(jù)存儲及檢索方法、裝置、設(shè)備和計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著遙感數(shù)據(jù)獲取能力的日益增強(qiáng)，僅單顆衛(wèi)星每日獲取數(shù)據(jù)量就以TB級計算，且這些大數(shù)據(jù)具有空間結(jié)構(gòu)化特性，即為空間數(shù)據(jù)?？臻g數(shù)據(jù)本身具有高密度價值，每一個數(shù)據(jù)單元都與空間位置關(guān)聯(lián)，反映一定的空間屬性。

早期空間數(shù)據(jù)存儲與管理方法是基于關(guān)系型數(shù)據(jù)庫建立的極為有效的異構(gòu)空間數(shù)據(jù)存儲管理體系，但由于關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)的高一致性要求，使其底層存儲的可擴(kuò)展性較弱，存在數(shù)據(jù)切分與合并難的問題。傳統(tǒng)的關(guān)系型數(shù)據(jù)模型和數(shù)據(jù)組織結(jié)構(gòu)，只是在概念和邏輯層面實(shí)現(xiàn)數(shù)據(jù)組織的完整性，包括序列快照模型、基圖修正模型、空間-時間組合體模型和空間-時間立方體模型等，并沒有考慮遙感影像數(shù)據(jù)的存取權(quán)重，而且物理實(shí)現(xiàn)統(tǒng)一采用本地磁盤存儲，導(dǎo)致磁盤I/O成為數(shù)據(jù)庫調(diào)度性能的瓶頸，極大地增加了磁盤I/O負(fù)荷和數(shù)據(jù)調(diào)度時間。并且存儲成本高、擴(kuò)展性差，數(shù)據(jù)共享存在瓶頸，對數(shù)據(jù)安全的控制粒度不夠、在線查詢緩慢、下載耗時受并發(fā)數(shù)量影響大。

后期空間數(shù)據(jù)存儲與管理方法優(yōu)化為使用NoSQL、列存儲等類型的數(shù)據(jù)庫，底層通過分布式文件系統(tǒng)實(shí)現(xiàn)存儲的容錯性和可擴(kuò)展性，且為了解決數(shù)據(jù)一致性以及空間索引問題，一方面索引被放到大內(nèi)存或被拆成大量小的索引存儲，另一方面采用大量計算節(jié)點(diǎn)進(jìn)行分布式索引計算；但適用的計算模式較為局限。

發(fā)明內(nèi)容

根據(jù)本公開的實(shí)施例，提供了一種結(jié)合Kubernetes和Ceph的遙感數(shù)據(jù)存儲方案。

在本公開的第一方面，提供了一種結(jié)合Kubernetes和Ceph的遙感數(shù)據(jù)存儲系統(tǒng)。該系統(tǒng)包括交互層、服務(wù)層、數(shù)據(jù)緩存層和數(shù)據(jù)存儲層；其中，所述交互層用于與客戶端進(jìn)行交互，接收客戶端上傳的遙感數(shù)據(jù)和/或根據(jù)用戶的遙感數(shù)據(jù)查詢請求提供對應(yīng)的遙感數(shù)據(jù)；所述遙感數(shù)據(jù)包括元數(shù)據(jù)文件和影像文件；所述服務(wù)層用于為客戶端上傳的遙感數(shù)據(jù)生成隊列并通過數(shù)據(jù)緩存層分發(fā)到數(shù)據(jù)存儲層；和/或根據(jù)客戶端查詢請求在數(shù)據(jù)緩存層及數(shù)據(jù)存儲層中查詢對應(yīng)的遙感數(shù)據(jù)；所述數(shù)據(jù)緩存層用于緩存所述遙感數(shù)據(jù)；所述數(shù)據(jù)存儲層包括用于在MongoDB數(shù)據(jù)庫中存儲所述元數(shù)據(jù)文件以及在Ceph分布式存儲系統(tǒng)中存儲所述影像文件。

如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述交互層、所述服務(wù)層和所述數(shù)據(jù)緩存層部署于Kubernetes集群的master節(jié)點(diǎn)中；所述數(shù)據(jù)存儲層部署于Kubernetes集群的worker節(jié)點(diǎn)中。

如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述MongoDB數(shù)據(jù)庫和所述Ceph分布式存儲系統(tǒng)分別部署于Kubernetes集群的worker節(jié)點(diǎn)中。

如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述服務(wù)層包括消息隊列模塊、任務(wù)調(diào)度模塊、遙感元數(shù)據(jù)解析模塊、數(shù)據(jù)庫操作模塊和存儲操作模塊。

如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述任務(wù)調(diào)度模塊用于根據(jù)一致性哈希算法，建立隊列數(shù)據(jù)與worker節(jié)點(diǎn)之間的映射關(guān)系。