[發明專利]一種基于深度光流網絡的連續幀RD圖像目標識別方法

在審

• 申請號: 201910592911.0
• 申請日: 2019-07-03
• 公開（公告）號: CN110348356A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 房嘉奇;楊小婷;李洪鵬;何向晨
• 申請（專利權）人: 北京遙感設備研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 中國航天科工集團公司專利中心 11024
• 代理人: 葛鵬

1.一種基于深度光流網絡的連續幀雷達距離-多普勒RD圖像艦船目標檢測識別方法，其特征在于，其包括步驟：

訓練數據獲取、標定及預處理：獲取深度學習線下訓練的艦船目標與干擾數據，并進行類型標定，同時對距離-多普勒RD圖像進行量化、平滑處理；

連續圖像特征提取與分析：對連續序列數據中某一幀圖像進行特征提取及分析，并將檢測結果快速并準確的傳播給其他幀的圖像；

深度光流網絡實現艦船目標檢測識別：根據連續幀雷達RD圖像信息，構建深度光流網絡對RD圖像中艦船目標進行檢測識別。

2.根據權利要求1所述的方法，其特征在于，

其中，距離-多普勒圖像訓練數據獲取、標定及預處理包括：

訓練數據獲取：對角反射器、箔條以及艦船目標試驗數據進行收集、整理、標注，深度學習模型的輸入端為包含目標時域、頻域信息的距離-多普勒RD圖像，RD圖像是相參雷達在探測海面運動目標時，對多個脈沖信號進行相參處理以獲得的探測目標圖像；

訓練數據標定：先將回波數據轉化為圖像數據，然后對于目標、干擾，確定目標名稱、中心點位置、長度、寬度以實現多幅圖像的自動標定，對于運動目標則設定速度選項以實現自動標定；

訓練數據預處理：由于雷達圖像噪聲的存在，連續兩幀之間圖像相關性會收到噪聲的干擾，除卻對雷達圖像進行量化之外還需對圖像進行濾波等平滑處理。

3.根據權利要求2所述的方法，其特征在于，

連續幀雷達RD圖像特征提取與特征分析包括：

首先，獲取一關鍵幀key frame的圖像，以及殘差網絡中兩種卷積參數所得到的最后一個卷積層之后的特征，然后針對連續圖像序列數據中當前幀current frame數據，采用與關鍵幀用相同的卷積方式得到特征，最后利用一個流場flow field將關鍵幀的特征圖通過流場傳播演化得到新的特征圖，通過特征流的傳播和演化，關鍵幀的特征圖能夠演化出與當前幀高度相似的深度特征圖；

光流網絡就是把兩個圖片作為兩個通道輸入網絡，兩個圖片分別在兩個自網絡學習,中間通過相關層correlation layer融合在一起，相關層是兩組特征圖之間的卷積,即長、寬、高為[h,w,c]的圖像A中的k×k的片段patch和另一個長、寬、高為[h,w,c]圖像B中的片段之間的卷積，公式如下

其中{·}表示向量的點積,向量的長度就是特征圖的通道數，c為卷積輸出結果，f₁，f₂為需要卷積的特征圖，x₁，x₂為特征圖中的像素點，o為片段中的像素點；

兩個網絡經過提煉后最終的輸出是光流場,其是一個長、寬、高為[h/4,w/4,2]的向量場,每個點都預測當前點的光流(u,v)，網絡的損失函數為端點誤差，

其中u_GT，v_GT為真實值groundtruth。

4.根據權利要求3所述的方法，其特征在于，

深度光流網絡實現艦船目標檢測識別

構建深度特征流DFF網絡，算法流程如下：

(1)輸入關鍵視頻幀{I_i}；

(2)初始化關鍵幀k＝0,f₀＝N_feat(I₀),y₀＝N_task(f₀)；

(3)設置遍歷變量i，遍歷所有幀圖像；

(4)如果關鍵幀等同當前幀，則更新關鍵幀k＝i；f_k＝N_feat(I_k)，y_k＝N_task(f_k)；

(5)否則使用特征流進行傳播f_i＝W(f_k,F(I_k,I_i),S(I_k,I_i))，y_i＝N_task(f_i)；

(6)結束遍歷，輸出識別結果{y_i}；

其中I_i表示視頻序列中的第i幀圖像，f_i表示第i幀圖像的深度特征圖，N_feat表示特征提取網絡，N_task表示任務網絡，即表示某一幀圖像的特征圖上的目標檢測，使用的模型為基于區域的全卷積神經網絡；y_i表示目標檢測網絡在特征圖上進行目標檢測后的結果，W表示由關鍵幀的特征圖傳播演化成當前幀的特征圖，M_i→k為一個二維的流場(flow field)，由流估計函數F(I_k,I_i)表示，它的作用是通過雙線性插值法將關鍵幀的特征圖演化成當前幀的特征圖，S(I_k,I_i)為尺度場用來調整因為流估計錯誤而造成的特征圖的空間形變；

深度光流網絡在關鍵幀的圖像上進行特征提取和目標檢測，在其它當前幀的圖像上，利用特征圖的傳播演化將關鍵幀的特征圖演化為當前幀的特征圖，再進行目標檢測任務；在整體網絡的結構中，特征提取的網絡使用預訓練的殘差網絡，特征圖的傳播和演化使用的是預訓練的神經光流網絡，在特征圖上進行目標檢測的網絡是全卷積神經網絡，整個網絡的訓練是端到端的。