[發明專利]一種長期記憶學習的多通道神經網方法

在審

• 申請號: 202110361125.7
• 申請日: 2021-04-02
• 公開（公告）號: CN113065650A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 胡建芳;李世順
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種長期記憶學習的多通道神經網方法，通過FPN提取已觀察的過去幀的圖像特征，并依次經過基于ConvLSTM的實例分割預測網絡、Mask R?CNN head得到實例分割預測結果。本發明挖掘了各層級間的金字塔特征之間存在的內在聯系，利用包含時空語義信息的金字塔特征對視頻中的表現變化進行建模，模型中用ConvLSTM來捕捉對應的金字塔特征層級內部的時空聯系，通過增加ConvLSTM之間的路徑連接使得不同層級間可以相互傳遞語義信息，克服了現有技術根據觀察到的過去幀中提取金字塔特征的過程中每個層級的金字塔特征都是獨立預測的缺陷，進而提高特征預測的準確度。

技術領域

本發明屬于人工智能、計算機視覺和實例分割預測的技術領域，具體涉及一種長期記憶學習的多通道神經網方法。

背景技術

實例分割是指對給定圖像或視頻中出現的所有感興趣的物體進行實例級別的語義分割，相比于僅區分每個像素類別的語義分割難度更大。實例分割既要區分不同物體的類別，同時要區分同一類別的不同物體。近年來實例分割問題得到了廣泛的關注和研究，其中基于深度學習的方法取得了顯著的成功?，F有的方法大多數都是通過學習空間語義信息的特征表示實現對于圖像中物體的實例分割。例如Dai J.等人提出利用圖像像素與實例之間的相對位置關系產生實例級別的分割候選對象。He K.等人在Faster R-CNN中增加一個新的分支用于預測對象的掩模，與已有的物體邊界框檢測和分類分支共同實現實例分割。Liu Y.等人提出通過自下而上的路徑聚合來增強空間維度的層間語義信息。

上述方法大多是針對事后實例分割任務，即其中待分割的圖像是已經獲取到的，但是在現實生活中，人們往往希望在獲取到相應的圖像之前就得到未來的實例分割預測結果，例如在自動駕駛中實例分割預測是預測汽車在未來是否會與其他物體發生碰撞的基礎技術，在這些類似的任務中實例分割預測比事后實例分割顯得更加重要?，F有的工作主要是基于深度學習模型的卷積神經網絡(CNN)和遞歸神經網絡(rCNN)預測未來幀。例如，Ranzato M.等人使用遞歸卷積神經網絡(rCNN)預測未來幀，以此捕獲更多的空間語義信息。Oh J.等人使用CNN和RNN構建了編碼-轉換-解碼的網絡結構，直接生成未來視頻幀中的像素值。而在語義分割預測和實例分割預測上，Luc P.等人根據觀察到的過去視頻幀中提取的sofmax操作后的激活值來預測未來幀的sofmax操作后的激活值，進而生成未來視頻的語義分割預測結果。Luc P.等人更進一步地提出了一個更有挑戰性的預測視頻中未來的實例分割結果的任務，并設計了特征分辨率保持不變的CNN模型F2F預測未來幀的金字塔特征來解決該問題。

上述方法主要是對空間和時間兩個維度的表現變化進行建模，最新的方法由LucP.等人提出，他們的方法根據觀察到的過去幀中提取的金字塔特征來預測未來幀的金字塔特征，然而其中各個層級的金字塔特征都是獨立預測的，使得不同金字塔層級特征之間的內在聯系被忽略，而實際上金字塔特征之間存在著緊密的內在聯系，不同層的特征有著不同的分辨率和感受野，這使得不同層的特征描述了同一圖像的不同方面。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種長期記憶學習的多通道神經網方法，利用包含時空語義信息的金字塔特征對視頻中的表現變化進行建模，并可以與Mask R-CNN(mask region convolutional neural network)head和特征金字塔網絡(feature pyramid network，以下簡稱FPN)特征提取器聯合優化，組成端到端的聯合學習系統，實現實例分割預測。

為了達到上述目的，本發明采用以下技術方案：

本發明提供了一種長期記憶學習的多通道神經網方法，包括下述步驟：

S1、利用特征金字塔網絡提取已觀察的過去幀的RGB圖像的多層金字塔特征；