[發(fā)明專利]一種利用注意力機制改進的卷積長短期記憶網(wǎng)絡時空序列預測方法

有效

• 申請?zhí)枺?/td>: 202011464171.1
• 申請日: 2020-12-14
• 公開（公告）號: CN112418409B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設計）人: 方巍;龐林;易偉楠;王楠
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/0442;G06N3/045;G06N3/049;G06N3/08;G06N3/088
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

1.一種利用注意力機制改進的卷積長短期記憶網(wǎng)絡時空序列預測方法，其特征在于，具體步驟包括如下：

步驟(1.1)、非對稱卷積塊高維特征提取器提取空間特征：使用三層非對稱卷積塊，利用滑動窗口提取高維圖像空間信息；

步驟(1.2)、嵌入注意力模塊的ConvLSTM編碼器-解碼器架構預測外推特征：將編碼器輸入當前步圖片幀的高維特征和前一步的隱狀態(tài)，輸出當前步隱狀態(tài)；使用解碼器中接收整個編碼器的輸出并在每一步交由注意力模塊獲取上下文信息提供給當前步解碼器預測外推特征；

步驟(1.3)、特征結果反向重構：進行特征圖像的外推后，利用反卷積進行反向重構，將預測特征重構到原始大小；

步驟(1.4)、L1、L2正則化優(yōu)化：降低學習到高權重的層的更新程度，并提高學習到低的權重的結點的更新程度，從而達到層中所有權值平攤任務的目的；

步驟(1.5)、預測時空序列圖像：所有模型搭建完成后輸入時空圖像序列進行模型外推訓練；

在步驟(1.1)中，使用非對稱卷積塊高維特征提取器提取空間特征的具體操作方法如下：

(1.1.1)、首先將輸入圖像做歸一化處理，將數(shù)值縮放到0到1之間，便于后續(xù)梯度的計算、加快收斂；

(1.1.2)、然后構建特征提取模塊：使用由三個非對稱卷積塊堆疊而成的卷積網(wǎng)絡，將標準方形卷積層替換為不對稱卷積網(wǎng)絡；

在步驟(1.1.2)中，每一個非對稱卷積塊將三個分別具有正方形、水平和垂直卷積核的卷積分支的輸出進行求和，由滑動窗口來提供一些具有不同內核大小的2D卷積可加性的結果；每個卷積塊中三種內核大小分別為3×3、1×3和3×1，其接受相同的輸入，并將輸出相加再通過ReLU激活函數(shù)，得到的結果作為下一個卷積塊的輸入；其中，所述三個卷積塊的通道數(shù)依次為64、96、128，跨步依次為2、2、1；

在步驟(1.2)中，使用嵌入注意力模塊的ConvLSTM編碼器-解碼器架構預測外推特征的具體操作方法如下：

(1.2.1)、構建ConvLSTM編碼器-解碼器架構；

(1.2.2)、將注意力模塊嵌入到該ConvLSTM編碼器-解碼器架構中，具體操作步驟如下：

首先，根據(jù)一個對齊模型計算h_t與每個的關聯(lián)度e_tj，所述的對齊模型函數(shù)表示如下式所示：

其次，將關聯(lián)度結果輸入到softmax函數(shù)中，為每個賦予權重，其公式表示如下：

再次，將權重與編碼器的隱狀態(tài)相乘，得到權重化的上下文向量c_t，其式如下：

最后，用該上下文向量c_t更新前一步隱狀態(tài)h_t，作為當前步的輸入，更新過程用公式表示為：

其中，σ為sigmoid函數(shù)，conv1、conv2為兩個卷積網(wǎng)絡，通過上下文向量c_t和h_t的重要性來更新輸入當前步的隱狀態(tài)

在步驟(1.2.2)中，構建對齊模型的具體步驟如下：設計一個全局通道注意力模塊，首先，先分別為h_t和的各個通道賦予權重；然后，將得到的結果相加輸出對齊向量e_tj，期間，將維度先減小后增大，最后，減少模型的參數(shù)，提高模型的效率；

在步驟(1.3)中，特征結果反向重構的具體方法如下：將注意力機制改進的ConvLSTM編碼器-解碼器的輸出輸入到一個由三層反卷積構成的重構網(wǎng)絡中，將外推出的圖像特征重構成原圖的大小；其中，每一層反卷積重構網(wǎng)絡都包含反卷積層、標準化層和LeakyReLU激活函數(shù)層；第一層反卷積的參數(shù)設置為卷積核大小為(3，3)，通道數(shù)為128，跨步為2；第二層反卷積的參數(shù)設置為卷積核大小為(2，2)，通道數(shù)為64，跨步為2，padding為1；第三層反卷積的參數(shù)設置為卷積核大小為(3，3)，通道數(shù)為1，跨步為1，padding為1；

在步驟(1.5)中，預測時空序列圖像的具體步驟如下：

數(shù)據(jù)空間維度上為固定大小的空間區(qū)域表示為M×N個格點，每一個格點包含隨著時間變化的C個測量；在任意時間點對該區(qū)域的觀察使用一個矢量X∈R^C×M×N表示，式中，R表示觀察特征的區(qū)域；隨時間變化的T個時間步的觀察形成了一組動態(tài)序列，用矢量序列X₁,X₂…,X_T這T幀數(shù)據(jù)表示；

所述的時空序列預測即根據(jù)所給出的前J幀數(shù)據(jù)外推出未來的K幀數(shù)據(jù)，其建模公式如下式所示：

在根據(jù)前J幀數(shù)據(jù)外推未來K幀數(shù)據(jù)的時空序列預測外推步驟中，將外推序列和真實序列的損失函數(shù)定義為如下公式：

利用交叉驗證作為訓練、驗證的策略，選擇將均方誤差MSE、平均絕對誤差MAE作為檢測模型得分的標準，所述方誤差MSE、平均絕對誤差MAE的公式分別為：

其中，輸出y的下標有三種表示形式；分別表示訓練過程的輸出、樣本標簽和測試輸出。