[發(fā)明專利]基于大數(shù)據(jù)遙感影像緩存方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011437094.0
• 申請(qǐng)日: 2020-12-11
• 公開(kāi)（公告）號(hào): CN112558869A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 于洋;杜毅;劉鑫
• 申請(qǐng)（專利權(quán)）人: 北京航天世景信息技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06;G06F16/51
• 代理公司: 北京紐樂(lè)康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 秦月貞

本發(fā)明公開(kāi)了一種基于大數(shù)據(jù)遙感影像緩存方法，該方法包括以下步驟：分布式緩存應(yīng)用于海量數(shù)據(jù)存儲(chǔ)，支持集群自動(dòng)化數(shù)據(jù)分片，進(jìn)行集群節(jié)點(diǎn)移除緩存或添加緩存；容錯(cuò)機(jī)制，創(chuàng)建數(shù)據(jù)集之間的依賴關(guān)系，根據(jù)依賴關(guān)系中的數(shù)據(jù)集節(jié)點(diǎn)接收到其他節(jié)點(diǎn)發(fā)送的信息時(shí)標(biāo)注失效的節(jié)點(diǎn)，普通數(shù)據(jù)流處理方式，將讀取的數(shù)據(jù)集發(fā)送到各個(gè)子節(jié)點(diǎn)中的共享內(nèi)存中，共享內(nèi)存中的數(shù)據(jù)存放硬盤(pán)，讀取硬盤(pán)中的數(shù)據(jù)進(jìn)行分割后任務(wù)分發(fā)；排序數(shù)據(jù)流處理方式,將數(shù)據(jù)集讀入工作節(jié)點(diǎn)的內(nèi)存中，工作節(jié)點(diǎn)執(zhí)行進(jìn)程將內(nèi)存中的數(shù)據(jù)進(jìn)行排序分配給劃分好的緩存中；聚合數(shù)據(jù)輸出流處理，獲取普通數(shù)據(jù)流，控制句柄執(zhí)行寫(xiě)操作，寫(xiě)操作創(chuàng)建磁盤(pán)分區(qū)后，將分區(qū)文件進(jìn)行合并。

技術(shù)領(lǐng)域

本發(fā)明涉及遙感影像大數(shù)據(jù)讀取技術(shù)領(lǐng)域，具體來(lái)說(shuō)，涉及一種基于大數(shù)據(jù)遙感影像緩存方法。

背景技術(shù)

遙感影像數(shù)據(jù)具有單體數(shù)據(jù)量大，為了應(yīng)對(duì)這一問(wèn)題目前采取的存儲(chǔ)方式是服務(wù)陣列模式，將影像數(shù)據(jù)直接存儲(chǔ)在硬盤(pán)上，由于受限于網(wǎng)絡(luò)和磁盤(pán)讀寫(xiě)的速度，造成后續(xù)數(shù)據(jù)處理以及處理完的成果數(shù)據(jù)上傳至服務(wù)器需要花費(fèi)大量的時(shí)間，造成極大的時(shí)間成本浪費(fèi)，而且隨著影像數(shù)據(jù)量的增長(zhǎng)，給數(shù)據(jù)維護(hù)造成一定的困擾。

隨著近年來(lái)技術(shù)的發(fā)展，出現(xiàn)了分布式應(yīng)用程序，比如hadoop等框架，可將影像利用分布式數(shù)據(jù)集輕松的將影像數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)服務(wù)器，同時(shí)讀取速度有很大的提高，但是由于hadoop等框架的核心存儲(chǔ)管理還是將數(shù)據(jù)存儲(chǔ)在硬盤(pán)上，受限于硬盤(pán)的讀寫(xiě)速度。

因此，數(shù)據(jù)集是應(yīng)用程序的基礎(chǔ),數(shù)據(jù)集設(shè)計(jì)的是否合理，直接影響到系統(tǒng)的成本開(kāi)銷(xiāo)，從而影響數(shù)據(jù)讀取的效率，現(xiàn)有的各種數(shù)據(jù)集不適合直接應(yīng)用于存儲(chǔ)影像大數(shù)據(jù)，所以從基礎(chǔ)設(shè)計(jì)顯得尤為重要。

發(fā)明內(nèi)容

針對(duì)相關(guān)技術(shù)中的上述技術(shù)問(wèn)題，本發(fā)明提出一種基于大數(shù)據(jù)遙感影像緩存方法，能夠利用服務(wù)器內(nèi)存資源，將影像大數(shù)據(jù)劃分成多個(gè)片段，并讀取到內(nèi)存中，從而大大減少讀取等待時(shí)間以及上傳數(shù)據(jù)的等待時(shí)間,極大提高工作效率。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于大數(shù)據(jù)遙感影像緩存方法，該方法包括以下步驟：

S1 分布式緩存應(yīng)用于海量數(shù)據(jù)存儲(chǔ)，支持集群自動(dòng)化數(shù)據(jù)分片，運(yùn)用哈希算法，進(jìn)行集群節(jié)點(diǎn)移除緩存或添加緩存，運(yùn)行緩存過(guò)程中不改變已存在數(shù)據(jù)庫(kù)鍵值正確節(jié)點(diǎn)映射關(guān)系及數(shù)據(jù)一致性；

S2 容錯(cuò)機(jī)制，創(chuàng)建數(shù)據(jù)集之間的依賴關(guān)系，根據(jù)依賴關(guān)系中的數(shù)據(jù)集節(jié)點(diǎn)接收到其他節(jié)點(diǎn)發(fā)送的信息時(shí)標(biāo)注失效的節(jié)點(diǎn)，并廣播到整個(gè)集群，某個(gè)子節(jié)點(diǎn)被標(biāo)注后，其他從節(jié)點(diǎn)自行進(jìn)行復(fù)制，生成新的節(jié)點(diǎn)并存儲(chǔ)，每個(gè)新節(jié)點(diǎn)存儲(chǔ)中包含多個(gè)任務(wù)，每個(gè)任務(wù)被分發(fā)給各個(gè)工作節(jié)點(diǎn)并執(zhí)行；

S3 普通數(shù)據(jù)流處理方式，將讀取的數(shù)據(jù)集發(fā)送到各個(gè)子節(jié)點(diǎn)中的共享內(nèi)存中，共享內(nèi)存中的數(shù)據(jù)存放硬盤(pán)，讀取硬盤(pán)中的數(shù)據(jù)進(jìn)行分割后任務(wù)分發(fā)；

S4 排序數(shù)據(jù)流處理方式,將數(shù)據(jù)集讀入工作節(jié)點(diǎn)的內(nèi)存中，工作節(jié)點(diǎn)執(zhí)行進(jìn)程將內(nèi)存中的數(shù)據(jù)進(jìn)行排序分配給劃分好的緩存中，并進(jìn)行閥值判斷，若大于閥值，則將緩存寫(xiě)入磁盤(pán)中，并建立索引文件，進(jìn)行文件合并，以及讀取索引文件中的索引數(shù)據(jù)，進(jìn)行序列化輸出至磁盤(pán)；

S5聚合數(shù)據(jù)輸出流處理，獲取普通數(shù)據(jù)流，控制句柄執(zhí)行寫(xiě)操作，寫(xiě)操作創(chuàng)建磁盤(pán)分區(qū)后，將分區(qū)文件進(jìn)行合并，同時(shí)創(chuàng)建索引文件和磁盤(pán)數(shù)據(jù)文件，若不進(jìn)行混合操作，則將數(shù)據(jù)存放于內(nèi)存中。

進(jìn)一步地，所述S1中移除緩存或添加緩存進(jìn)一步包含：

S1.1 基于緩存B失效,沿緩存B逆時(shí)針遍歷直到下一個(gè)緩存C之間的對(duì)象，即得到映射到緩存B的對(duì)象，變動(dòng)緩存B的對(duì)象，將其重新映射到緩存C；

S1.2在環(huán)形哈?？臻g中，創(chuàng)建添加緩存D，緩存D被映射到對(duì)象2和對(duì)象3之間，沿緩存D逆時(shí)針遍歷直到下一個(gè)緩存B之間的對(duì)象，將該對(duì)象重新映射到緩存D上。

進(jìn)一步地，所述S2中依賴關(guān)系的存儲(chǔ)運(yùn)行進(jìn)一步包含：

S2.1創(chuàng)建不同數(shù)據(jù)集的依賴關(guān)系，通過(guò)數(shù)據(jù)集父子依賴關(guān)系重新計(jì)算，得到丟失的分區(qū)容錯(cuò)率；