[發明專利]一種基于第三方遷移學習的水下目標檢測方法

有效

• 申請號: 202010589644.4
• 申請日: 2020-06-24
• 公開（公告）號: CN111723823B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 徐濤;周紀勇;馬玉琨;蔡磊;吳韶華
• 申請（專利權）人: 河南科技學院
• 主分類號: G06V20/05
• 分類號: G06V20/05;G06V10/46;G06V10/77;G06V10/82;G06N3/096
• 代理公司: 鄭州優盾知識產權代理有限公司 41125
• 代理人: 張真真

1.一種基于第三方遷移學習的水下目標檢測方法，其特征在于，其步驟如下：

S1、從圖片數據庫中獲取水下圖像，并對水下圖像中的目標區域進行隨機遮擋，遮擋面積小于水下圖像面積的40％，得到水下缺失圖像，再利用sift特征提取方法提取水下缺失圖像的目標特征，得到原目標域；

S2、從專家知識庫中獲取包含步驟S1中的水下圖像的第三方目標域；專家知識庫中包含著物體的基本特征信息，從專家知識庫中檢索目標物特征的常識性描述，并且保證物體實物的特征與專家知識庫中相應的特征描述是匹配的，最終從專家知識庫中檢索到的常識性知識可以表示為：

其中，是從專家知識庫中檢索到的對目標物a的常識性描述，k₁表示特征描述的個數；對目標物a的常識性描述轉換成單詞序列并且通過公式(2)所示的映射關系將句子中的每一個單詞映射到一個連續的向量空間中：

其中，w_e表示特征映射參數，表示第i₁句特征描述所對應的特征向量；

最終得到一組關于目標的場外特征向量

S3、分別將步驟S1中的原目標域和步驟S2中的第三方目標域映射到共享空間領域中，得到目標域矩陣和第三方目標域矩陣；

S4、利用2D-WSPCCA對目標域矩陣和第三方目標域矩陣中的數據進行關聯處理，得到新的目標域；

S4.1、針對目標域矩陣使用目標域矩陣中的k個數據構成目標矩陣其中，是目標域矩陣M中的特征信息為實數，目標域矩陣M的維度為D_x×d_l，d_l表示投影后數據的特征維數，D_x表示目標域矩陣的特征空間維度，k＝min(k_To，k_Tt)，k_To表示目標域矩陣的特征數量，k_Tt表示第三方目標域矩陣的特征數量，表示第k個目標矩陣的特征信息；

S4.2、針對第三方目標域矩陣使用第三方目標域矩陣中的k個數據構成第三方矩陣其中，是第三方目標域矩陣N中的特征信息為實數，第三方目標域矩陣N的維度為D_y×d_l，D_y表示第三方目標域矩陣的特征空間維度，表示第k個第三方矩陣的特征信息；

S4.3、利用相關性分析法構建目標域矩陣M和第三方目標域矩陣N之間的相關性函數：

其中，ρ表示特征數據的相關性系數，M^T、N^T、X_To^T、X_Tt^T分別為矩陣M、N、X_To、X_Tt的轉置矩陣；

S4.4、分別構建目標域矩陣M和第三方目標域矩陣N的稀疏重構矩陣：

X_TtS^TtX_Tt^TM＝λX_TtX_Tt^TM?(4)，

X_ToS^ToX_To^TN＝λX_ToX_To^TN?(5)，

其中，S^Tt表示第三方目標域矩陣的稀疏矩陣，S^To表示目標域矩陣的稀疏矩陣，λ表示特征值；利用特征矩陣的方差，將原始特征矩陣X_To、X_Tt進行加權，加權后的源域、目標域特征數據為

S4.5、利用2D-WSPCCA將目標域矩陣M和第三方目標域矩陣N之間的相關性函數轉化為目標函數：

其中，矩陣A為單位矩陣，表示目標域矩陣的稀疏矩陣，表示第三方目標域矩陣的稀疏矩陣，X_Toi表示目標矩陣的第i個特征向量，X_Toj表示目標矩陣的第j個特征向量，X_Tti表示第三方矩陣的第i個特征向量，X_Ttj表示第三方矩陣的第j個特征向量，i、j∈[1,k]；

S4.6、對目標函數(6)進行數學運算：

其中，表示目標加權矩陣的第i個特征向量，表示目標加權矩陣的第j個特征向量，表示第三方加權矩陣第i個特征向量，表示第三方加權矩陣第j個特征向量，分別表示的轉置矩陣，A_m表示單位矩陣，S^ToTt＝S^To·S^Tt，表示目標稀疏矩陣和第三方稀疏矩陣的乘積；

S4.7、分別對公式(7)、公式(8)進行數學運算，得到矩陣S^ToTo＝S^To·S^To、S^TtTt＝S^Tt·S^Tt；

S4.8、令H^TtTo＝D^TtTo-S^TtTo、H^TtTt＝D^TtTt-S^TtTt、H^ToTo＝D^ToTo-S^ToTo，結合步驟S4.6和步驟S4.7，步驟S4.5中的目標函數可表示為目標優化函數：

其中，矩陣H^TtTo、H^TtTt、H^ToTo均為對稱矩陣；

S4.9、令利用拉格朗日乘子算法將步驟S4.7中的目標優化函數進行轉化，得到：

F_xy(F_y)^-1F_yxα＝λ²F_xα?(13)，

F_yx(F_x)^-1F_xyβ＝λ²F_xβ?(14)，

其中α＝α₁,...,α_i'為特征值i'對應的特征向量，β＝β₁,...,β_i'為特征值i'對應的特征向量；

S4.10、令矩陣C＝[α₁,...,α_i']，矩陣D＝[β₁,...,β_i']，得到新的目標域為：

X_T＝CX_To+DX_Tt?(15)；

S5、從Coco數據庫中獲取大量圖像，并利用sift特征提取方法提取目標特征，得到源域；

S6、利用基于特征差異自適應的集成遷移學習算法分別對新的目標域和源域進行處理，得到映射矩陣，其中，映射矩陣包括目標矩陣和源域矩陣；

S6.1、構建基于特征差異自適應的遷移學習的目標函數：

s.t.Z^TPBP^TZ＝A?(19)，

其中，P＝[X_S,X_T]為源域X_S和新的目標域X_T拼接后的樣本矩陣，B表示中心矩陣，A為單位矩陣，γ表示分布平衡因子，Q_d分別表示MMD矩陣，Q_k‘表示適配各個類別的MMD矩陣，X_h表示類內距離，表示防止退化項，Z表示映射矩陣，K表示特征信息的個數；

S6.2、利用拉格朗日函數將基于特征差異自適應的遷移學習的目標函數轉化為基于特征差異自適應的遷移學習的目標優化函數：

S6.3、令則基于特征差異自適應的遷移學習的目標優化函數轉化為：

S6.4、求解公式(21)的特征值，特征值對應的特征向量為映射矩陣Z，將源域X_S和新的目標域X_T映射到映射矩陣Z上，得到目標矩陣Z(T)和源域矩陣Z(S)；

S7、利用源域矩陣中數據對YOLOv3網絡進行訓練，得到YOLOv3網絡模型及網絡權重；

S8、去掉YOLOv3網絡模型的檢測層權重，得到改進的YOLOv3網絡模型；

S9、從圖片數據庫中獲取水下的圖像，并輸入步驟S8中的改進的YOLOv3網絡模型中，獲得檢測層權重，進而得到水下目標檢測模型；將改進的YOLOv3網絡模型遷移到水下目標檢測領域，通過Underwater?Target數據集獲取少量圖片對改進的YOLOv3網絡模型進行訓練，生成新的檢測層權重，最終得到適應水下圖像檢測的水下目標檢測模型；

S10、將步驟S1中的水下圖像輸入步驟S9中的水下目標檢測模型中，輸出目標及目標所在的區域。