[發明專利]一種基于增量學習的海洋觀測大數據分布方法有效

申請號：	201710117922.4	申請日：	2017-03-01
公開（公告）號：	CN106897705B	公開（公告）日：	2020-04-10
發明（設計）人：	黃冬梅;賀琪;隨宏運;何盛琪;石少華	申請（專利權）人：	上海海洋大學
主分類號：	G06K9/00	分類號：	G06K9/00;G06K9/62
代理公司：	上海卓陽知識產權代理事務所(普通合伙) 31262	代理人：	周春洪
地址：	201306 上海市***	國省代碼：	上海;31
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于增量學習海洋觀測數據分布方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種基于增量學習的海洋觀測大數據分布方法，其特征在于，所述分布方法包括以下步驟：

S1：輸入待布局的增量海洋觀測數據集；

S2：初始化存儲容量；

S3：計算增量數據集中數據的數據價值；

S4：對增量數據集中的所有數據進行劃分；

S5：利用增量學習方法對增量數據集進行訓練；

S6：對訓練后的數據進行布局；

S7：輸出布局后的增量海洋觀測數據集；

其中，所述的步驟S5中的增量學習方法為支持向量機增量學習方法。

2.根據權利要求1所述的分布方法，其特征在于，所述的步驟S3中的數據價值計算包括計算時效性、計算關聯性、計算地域性。

3.根據權利要求1所述的分布方法，其特征在于，所述的步驟S4中的劃分為利用k-means方法對數據集中的所有數據進行初始劃分，將數據集分為活躍區和非活躍區。

4.根據權利要求1所述的分布方法，其特征在于，所述的步驟S6中的布局為對訓練后的數據按照活躍區和非活躍區進行布局。

5.根據權利要求2所述的分布方法，其特征在于，所述的步驟S3的計算方法包括以下步驟：

S31：計算時效性

利用TF-IDF加權技術計算海洋觀測大數據的時效性，其計算公式為如下：

$<mrow><msub><mi>W</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>d</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>ft</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>d</mi><mo>)</mo></mrow><mo>×</mo><mi>log</mi><mrow><mo>(</mo><mfrac><mi>N</mi><msub><mi>n</mi><mi>i</mi></msub></mfrac><mo>+</mo><mn>0.01</mn><mo>)</mo></mrow></mrow><msqrt><mrow><munderover><mo>Σ</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msup><mrow><mo>(</mo><msub><mi>tf</mi><mi>i</mi></msub><mo>(</mo><mi>d</mi><mo>)</mo><mo>)</mo></mrow><mn>2</mn></msup><mo>×</mo><msup><mrow><mo>[</mo><mi>log</mi><mrow><mo>(</mo><mfrac><mi>N</mi><msub><mi>n</mi><mi>i</mi></msub></mfrac><mo>+</mo><mn>0.01</mn><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup></mrow></msqrt></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>$

其中，N為海洋觀測大數據集的總數據量，n_i表示包含觀測數據屬性項d的數據集數，tf_i(d)表示觀測數據屬性項d在數據集中出現的頻率，W_i(d)表示屬性項d的權值。

S32：計算關聯性

設分別表示應用觀測數據d_k和d_m的觀測任務，則觀測數據d_k和d_m之間的關聯度S_ij的計算公式如下：

$<mrow><msub><mi>S</mi><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mi>c</mi><mi>o</mi><mi>u</mi><mi>n</mi><mi>t</mi><mrow><mo>(</mo><msub><mi>T</mi><msub><mi>d</mi><mi>k</mi></msub></msub><mo>∩</mo><msub><mi>T</mi><msub><mi>d</mi><mi>m</mi></msub></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>$

S33：計算地域性

利用歐式距離計算方法計算各觀測區內各觀測位置間的距離L_mn，其計算公式如下：

L_mn＝√(x_m-x_n)²+(y_m-y_n)² (3)

其中L_mn表示觀測點m和觀測點n之間的距離，x_m和x_n分別表示觀測點m和觀測點n的經度值，y_m和y_n分別表示觀測點m和觀測點n的緯度值。

引入歸一化變量，用相對位置和整個區間內距離最大值的比值作為觀測點的距離關聯值RL_mn，其計算公式如下：

$<mrow><msub><mi>RL</mi><mrow><mi>m</mi><mi>n</mi></mrow></msub><mo>=</mo><mfrac><msub><mi>L</mi><mrow><mi>m</mi><mi>n</mi></mrow></msub><mrow><mi>m</mi><mi>a</mi><mi>x</mi><mo>{</mo><msub><mi>L</mi><mn>12</mn></msub><mo>,</mo><msub><mi>L</mi><mn>13</mn></msub><mo>,</mo><msub><mi>L</mi><mn>14</mn></msub><mo>...</mo><msub><mi>L</mi><mrow><mi>m</mi><mi>n</mi></mrow></msub><mo>}</mo></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>$

其中，RL_mn表示觀測點m和觀測點n之間的距離關聯值，max{L₁₂,L₁₃,L₁₄,……,L_mn}表示在每個距離值之間取最大值。

S34：計算數據價值

對于海洋觀測大數據，根據其被使用的頻度、數據的下載次數、數據使用者的重要程度和數據產品的生產成本等因素，適當選取每項因素的加權銀子，計算數據價值，其計算公式如下：

V_i(d)＝W_i(d)×k₁+S_i(d)×k₂+RL_i(d)×k₃+C(5)

其中，V_i(d)代表觀測數據的數據價值，W_i(d)代表觀測數據的時效性，S_i(d)代表觀測數據的關聯性，RL_i(d)帶包觀測數據的地域性，k1為W_i(d)的加權因子，k2為S_i(d)的加權因子，k3為RL_i(d)的加權因子，C代表數據價值的懲罰因子，由觀測數據的用戶關注度、數據采集完成所經歷的時間、參與的人力以及數據生產所經歷的環節綜合得出。

6.根據權利要求1所述的分布方法，其特征在于，所述的步驟S5的工作流程如下：

S51：輸入新增海洋大數據樣本集B_i(i＝1,2,3,……,n)；

S52：判斷新增樣本是否符合KKT條件：

S521：若符合KKT條件，根據KKT條件進行支持向量機(SVM)分類，然后進入步驟S56；

S522：若不符合KKT條件，則進入步驟S53；

S53：判斷B_i是否都在分類面上：

S531：若B_i都在分類面上，則將其歸為分類間隔上的樣本，然后進入步驟S56；

S532：若B_i不都在分類面上，則進入步驟S54；

S54：判斷B_i是否都在分類面的邊緣或原分類有誤：

S541：若B_i都在分類面的邊緣或原分類有誤，則將其歸為分類間隔內的樣本，然后進入步驟S56；

S542：若B_i不都在分類面的邊緣或原分類無誤，則進入步驟S55；

S55：根據數據價值訓練樣本集，即利用k-means方法劃分樣本集；