[發(fā)明專利]一種針對時序流數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡提取特征的分析方法

有效

• 申請?zhí)枺?/td>: 201811216349.3
• 申請日: 2018-10-18
• 公開（公告）號: CN109299185B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 周同明;汪衛(wèi);邢宏巖;刁廣州;楊勇;秦嘉岷;姜軍;王旭
• 申請（專利權）人: 上海船舶工藝研究所（中國船舶集團有限公司第十一研究所）
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/2458;G06N3/0464
• 代理公司: 上海世圓知識產(chǎn)權代理有限公司 31320
• 代理人: 王佳妮

本發(fā)明公開了一種針對時序流數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡提取特征的分析方法，包括如下步驟，首先對相應的流數(shù)據(jù)進行預處理，進行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)合并和數(shù)據(jù)重塑等預處理，保證后續(xù)流數(shù)據(jù)分析的準確性；然后對流數(shù)據(jù)取樣，通常選擇衰減窗口的方式進行采樣，生成分析樣本；仔細分析數(shù)據(jù)特性和不同維度的關聯(lián)關系，若沒有相關性或者相關性不大，則嘗試采用分維度的卷積神經(jīng)網(wǎng)絡結構，進行挖掘分析，既保留時序流數(shù)據(jù)特征的同時，又找到不同維度間的組合特征。本專利有利于在應用卷積神經(jīng)網(wǎng)絡處理流數(shù)據(jù)問題上，找到一個更優(yōu)的方法。

技術領域

本發(fā)明涉及流數(shù)據(jù)分析領域，具體為一種針對時序流數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡提取特征的分析方法。

背景技術

每時每刻都在生產(chǎn)出成千上萬的數(shù)據(jù)，導致每時每刻數(shù)據(jù)正在形成爆炸式的增長。數(shù)據(jù)爆炸式的增長流量，巨大穩(wěn)定的數(shù)據(jù)存量，以及行業(yè)領域的數(shù)據(jù)應用可用性，給我們的人工智能時代，賦予了充沛的原始材料。

也正因為我們處在一個數(shù)據(jù)爆炸的時代，更急需功能強大的數(shù)據(jù)處理分析工具，以使我們從海量的時序流數(shù)據(jù)中，發(fā)現(xiàn)那些曾經(jīng)未被我們重視的信息，發(fā)現(xiàn)那些有價值的信息，甚至是發(fā)現(xiàn)那些關乎人類生存的知識。

發(fā)明內(nèi)容

本發(fā)明要解決的技術問題是普通模型和方法遇到的難題或是未能有效提取隱式特征，而深度學習中的卷積神經(jīng)網(wǎng)絡結構模型，難以做到時序特征和維度特征的同時兼顧，提供一種針對時序流數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡提取特征的分析方法，從而解決上述問題。

為了解決上述技術問題，本發(fā)明提供了如下的技術方案：

本發(fā)明提供一種針對時序流數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡提取特征的分析方法，包括如下步驟：

S1：流數(shù)據(jù)預處理；

S2:以衰減窗口方法的選擇樣本；

S3:卷積神經(jīng)網(wǎng)絡模型架構的設計搭建；

S4:分維度采用卷積模型提取特征；

S5:深度學習的日志生成效果圖的顯示比較；

S6:深度學習效果圖可視化；

針對流數(shù)據(jù)中的時序特征和維度信息特征，搭建、采用分維度的卷積神經(jīng)網(wǎng)絡模型，提取出數(shù)據(jù)中包含在基礎信息中的強特征和強規(guī)律，同時兼顧流數(shù)據(jù)自帶的時序特征；在多維數(shù)據(jù)的特征提取、強化之后，綜合出既包括時序特征、又包括維度特征的模型。

所述步驟S1中，根據(jù)流數(shù)據(jù)的特性，進行流數(shù)據(jù)預處理，包括數(shù)據(jù)關鍵信息識別和冗余屬性識別，人為篩選出對結果影響最大的因子，對所有因子的流數(shù)據(jù)進行預處理，利用數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)合并和數(shù)據(jù)重塑的預處理手段對歷史數(shù)據(jù)的異常項、缺失項、冗余項、差異項進行補齊；根據(jù)預處理得到的樣本數(shù)據(jù)仔細觀察，進行篩選重要信息的數(shù)字化描述，人工建立篩選目標特征的維度。

作為本發(fā)明的一種優(yōu)選技術方案，所述步驟S1中，所述異常數(shù)據(jù)預處理方式包括：

數(shù)據(jù)缺失，增大數(shù)據(jù)的級別，縮小數(shù)據(jù)量的同時，過濾掉數(shù)據(jù)丟失；

數(shù)據(jù)異常，采用數(shù)據(jù)刪除、結合整體模型綜合分析替代、視為缺失值等值填補的方式進行預處理，使異常值處理后與其他數(shù)值之間的偏離程度減到最小；

數(shù)據(jù)冗余，如果數(shù)據(jù)兩個屬性之間的相關性較大，則從這兩個屬性中剔除一個不重要的屬性；

數(shù)據(jù)歸一化，各個維度的數(shù)據(jù)并不是在統(tǒng)一的范圍內(nèi)的，在跨維度的計算中，權值上下擺動太大，不利于調(diào)整和計算；

標簽和標記時間戳：針對分類問題監(jiān)督學習，給數(shù)據(jù)集打上標簽，同時給數(shù)據(jù)集標上時間戳。

作為本發(fā)明的一種優(yōu)選技術方案，所述步驟S2具體流程為：流數(shù)據(jù)樣本獲取、流數(shù)據(jù)過濾、流數(shù)據(jù)獲取；