[發(fā)明專利]一種基于增量學(xué)習(xí)的海洋觀測大數(shù)據(jù)分布方法

有效

• 申請?zhí)枺?/td>: 201710117922.4
• 申請日: 2017-03-01
• 公開（公告）號(hào): CN106897705B
• 公開（公告）日: 2020-04-10
• 發(fā)明（設(shè)計(jì)）人: 黃冬梅;賀琪;隨宏運(yùn);何盛琪;石少華
• 申請（專利權(quán)）人: 上海海洋大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 上海卓陽知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31262
• 代理人: 周春洪

技術(shù)領(lǐng)域

本發(fā)明涉及海洋數(shù)據(jù)分布技術(shù)領(lǐng)域，具體地說，是一種基于增量學(xué)習(xí)的海洋觀測大數(shù)據(jù)分布方法。

背景技術(shù)

隨著我國海洋強(qiáng)國戰(zhàn)略的逐步推進(jìn)，科學(xué)大數(shù)據(jù)技術(shù)的迅猛發(fā)展為海洋經(jīng)濟(jì)產(chǎn)業(yè)注入了科學(xué)動(dòng)力。此外，“海洋一號(hào)”A星和“海洋一號(hào)”B星等專題衛(wèi)星的上軌成功優(yōu)化了我國海洋立體化觀測路網(wǎng)，使得高精度、高頻度、大覆蓋的實(shí)時(shí)多模態(tài)海洋數(shù)據(jù)呈幾何級(jí)數(shù)爆炸式增長。海洋科學(xué)學(xué)科特征以及海洋數(shù)據(jù)獲取手段的多源性導(dǎo)致了海洋數(shù)據(jù)具有海量性、多維、實(shí)時(shí)、強(qiáng)關(guān)聯(lián)等特征，使得海洋數(shù)據(jù)成為大數(shù)據(jù)的典范。對海洋觀測大數(shù)據(jù)有效地進(jìn)行存儲(chǔ)、管理并構(gòu)建海洋大數(shù)據(jù)服務(wù)是挖掘海洋數(shù)據(jù)價(jià)值的關(guān)鍵途徑。

數(shù)據(jù)分布是數(shù)據(jù)存儲(chǔ)中的關(guān)鍵問題，它是將數(shù)據(jù)劃分為一系列不相交的數(shù)據(jù)片段或區(qū)域，并按照一定的數(shù)據(jù)分配策略分散放置到各個(gè)數(shù)據(jù)節(jié)點(diǎn)上。在數(shù)據(jù)分布過程中，良好的分片實(shí)施策略是數(shù)據(jù)分布的關(guān)鍵。已有的數(shù)據(jù)分片策略(如輪轉(zhuǎn)劃分)適用于有著固定模式的一般關(guān)系型數(shù)據(jù)庫，在通用數(shù)據(jù)上效果顯著。然而，多模態(tài)的實(shí)時(shí)海洋觀測大數(shù)據(jù)具有特殊的性質(zhì)，使得傳統(tǒng)的分片策略在對海洋觀測大數(shù)據(jù)進(jìn)行分片時(shí)忽略了其本身的特點(diǎn)，缺乏一定的實(shí)用性。故需進(jìn)一步考慮和分析海洋數(shù)據(jù)自身的數(shù)據(jù)價(jià)值，才可有效地對數(shù)據(jù)進(jìn)行分布和存儲(chǔ)。

此外，隨著大規(guī)模海洋立體觀測技術(shù)的飛速發(fā)展，在實(shí)際海洋觀測過程中，海洋觀測大數(shù)據(jù)的信息不是一次性獲得的，會(huì)不斷地有新數(shù)據(jù)增加。面對大幅度不斷增加的海洋觀測大數(shù)據(jù)，如果每一次都要在所有數(shù)據(jù)上重新建模存儲(chǔ)或進(jìn)行數(shù)據(jù)挖掘需花費(fèi)大量的時(shí)間，這顯然是不現(xiàn)實(shí)的。而增量學(xué)習(xí)可有效地解決上述問題，使得海洋大數(shù)據(jù)的存儲(chǔ)和管理能更好的走向服務(wù)化、實(shí)用化。

數(shù)據(jù)分布的主要目的是通過數(shù)據(jù)的合理分布，使盡可能多的數(shù)據(jù)就地存放，減少跨越邏輯分區(qū)或物理節(jié)點(diǎn)的數(shù)據(jù)訪問。

在海洋強(qiáng)國的戰(zhàn)略需求與新型信息技術(shù)迅猛發(fā)展下，對海洋大數(shù)據(jù)進(jìn)行挖掘和管理可為海洋環(huán)境的觀測、海洋資源的探測以及海洋災(zāi)害的預(yù)警預(yù)報(bào)等研究提供重要的信息資源。然而隨著海洋觀測手段及設(shè)備的多樣化和深布局，如浮標(biāo)、衛(wèi)星、遙感、觀測站等實(shí)時(shí)數(shù)據(jù)源采集，造成了數(shù)據(jù)量的密級(jí)增長，使得傳統(tǒng)的數(shù)據(jù)分布策略對于海洋數(shù)據(jù)的存儲(chǔ)和管理產(chǎn)生一定的局限性。

面對快速增長的海量海洋觀測數(shù)據(jù)，如何有效地利用歷史數(shù)據(jù)學(xué)習(xí)的結(jié)果，對新增數(shù)據(jù)進(jìn)行高效的分析，從而避免對歷史樣本的重復(fù)訓(xùn)練和學(xué)習(xí)，得到較為準(zhǔn)確的數(shù)據(jù)分類結(jié)果是對海洋觀測數(shù)據(jù)進(jìn)行分布的關(guān)鍵，而增量學(xué)習(xí)能夠很好的解決此類問題。目前，增量學(xué)習(xí)算法在一些領(lǐng)域中得到了較好的應(yīng)用。在對海洋數(shù)據(jù)進(jìn)行分布過程中，面對實(shí)時(shí)更新的觀測數(shù)據(jù)，良好的動(dòng)態(tài)自適應(yīng)性會(huì)對數(shù)據(jù)的分布效果和用戶訪問數(shù)據(jù)的響應(yīng)時(shí)間帶來較好的影響。因此，面對不斷實(shí)時(shí)更新的海洋觀測大數(shù)據(jù)，將增量學(xué)習(xí)的思想引入海洋大數(shù)據(jù)的數(shù)據(jù)分布中顯得尤為重要。

中國發(fā)明專利CN201610561677.1，公開日為2016.12.14，公開了一種基于SPM和深度增量SVM的SAR圖像分類方法。但是該方法無法適應(yīng)于海洋數(shù)據(jù)，且無法達(dá)到本發(fā)明的技術(shù)效果。

因此，亟需一種降低訓(xùn)練時(shí)間的開銷和用戶訪問數(shù)據(jù)的響應(yīng)時(shí)間、解決過量匹配的基于增量學(xué)習(xí)的海洋觀測大數(shù)據(jù)分布方法，而目前關(guān)于這種方法還未見報(bào)道。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)中的不足，提供一種基于增量學(xué)習(xí)的海洋觀測大數(shù)據(jù)分布方法。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案是：

一種基于增量學(xué)習(xí)的海洋觀測大數(shù)據(jù)分布方法，所述分布方法包括以下步驟：

S1：輸入待布局的增量海洋觀測數(shù)據(jù)集；

S2：初始化存儲(chǔ)容量；

S3：計(jì)算增量數(shù)據(jù)集中數(shù)據(jù)的數(shù)據(jù)價(jià)值；

S4：對增量數(shù)據(jù)集中的所有數(shù)據(jù)進(jìn)行劃分；

S5：利用增量學(xué)習(xí)方法對增量數(shù)據(jù)集進(jìn)行訓(xùn)練；

S6：對訓(xùn)練后的數(shù)據(jù)進(jìn)行布局；

S7：輸出布局后的增量海洋觀測數(shù)據(jù)集；

其中，所述的步驟S5中的增量學(xué)習(xí)方法為支持向量機(jī)增量學(xué)習(xí)方法。

所述的步驟S3中的數(shù)據(jù)價(jià)值計(jì)算包括計(jì)算時(shí)效性、計(jì)算關(guān)聯(lián)性、計(jì)算地域性。

所述的步驟S4中的劃分為利用k-means方法對數(shù)據(jù)集中的所有數(shù)據(jù)進(jìn)行初始劃分，將數(shù)據(jù)集分為活躍區(qū)和非活躍區(qū)。

所述的步驟S6中的布局為對訓(xùn)練后的數(shù)據(jù)按照活躍區(qū)和非活躍區(qū)進(jìn)行布局。

所述的步驟S3的計(jì)算方法包括以下步驟：

S31：計(jì)算時(shí)效性

利用TF-IDF加權(quán)技術(shù)計(jì)算海洋觀測大數(shù)據(jù)的時(shí)效性，其計(jì)算公式為如下：