[發明專利]特征提取網絡訓練方法以及相關方法和裝置

有效

• 申請號: 202010562140.3
• 申請日: 2020-06-18
• 公開（公告）號: CN111814805B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 張雷;潘華東;殷俊;張興明
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/774;G06V10/764;G06F16/53
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

本申請提供特征提取網絡訓練方法以及相關方法和裝置。該特征提取網絡訓練方法包括：獲得圖像訓練集，圖像訓練集包括同一目標的兩種模態的圖像；將圖像訓練集輸入到特征提取網絡，以得到每一目標的兩種模態的圖像特征；利用每個目標的兩種模態的圖像特征的差異計算損失；在損失減小的方向，更新特征提取網絡的參數。本申請可以使得通過特征提取網絡提取出的同一目標的兩種模態的圖像特征更加相似，解決了不同模態之間的語義鴻溝，將本申請訓練出的特征提取網絡應用到圖像搜索中，可以解決不同模態無法互相搜索的問題。

技術領域

本申請涉及圖像技術領域，特別是涉及特征提取網絡訓練方法以及相關方法和裝置。

背景技術

越來越多監控攝像頭的使用，產生了海量的視頻數據，需要在這些數據中快速檢索到目標，并進行相關分析，是一項重要的任務。以圖搜圖技術能夠在圖片庫中快速檢索到目標，已廣泛應用在抓捕嫌疑犯，和尋找走失老人、兒童中，并取得較好的效果。但以圖搜圖技術存在紅外和可見光等不同模態圖像之間的語義鴻溝，存在不同模態圖像無法互相搜索的問題。

發明內容

本申請提供特征提取網絡訓練方法以及相關方法和裝置，使得通過特征提取網絡提取出的同一目標的兩種模態的圖像特征更加相似，解決了不同模態之間的語義鴻溝，將本申請訓練出的特征提取網絡應用到圖像搜索中，可以解決不同模態無法互相搜索的問題。

為達到上述目的，本申請提供一種特征提取網絡的訓練方法，該方法包括：

獲取圖像訓練集，圖像訓練集包括同一目標的兩種模態的圖像；

將圖像訓練集輸入到特征提取網絡，以得到每一目標的兩種模態的圖像特征；

利用每個目標的兩種模態的圖像特征的差異計算損失；

在損失減小的方向，更新特征提取網絡的參數。

其中，在損失減小的方向，更新特征提取網絡的參數，包括：

利用損失梯度反向傳播更新特征提取網絡的參數。

其中，兩種模態包括第一模態和第二模態，將圖像訓練集輸入到特征提取網絡，以得到每一目標的兩種模態的圖像特征，之后包括：

將至少一個目標的第一模態的圖像特征輸入到第一圖像分類器；基于第一圖像分類器的分類結果，并利用梯度反向傳播算法確定特征提取網絡的第一組參數；

將至少一個目標的第二模態的圖像特征輸入到第二圖像分類器；基于第二圖像分類器的分類結果，并利用梯度反向傳播算法確定特征提取網絡的第二組參數；

利用損失梯度反向傳播更新特征提取網絡的參數，包括：利用損失梯度反向傳播確定特征提取網絡的第三組參數；

將特征提取網絡的第一組參數、第二組參數和第三組參數進行加權處理，得到特征提取網絡的最終參數。

其中，將圖像訓練集輸入到特征提取網絡，以得到每一目標的兩種模態的圖像特征，之后包括：

將每一目標的兩種模態的圖像特征連接，得到每一目標的融合特征；

將至少一個目標的融合特征輸入到第三圖像分類器；基于第三圖像分類器的分類結果，并利用梯度反向傳播算法確定特征提取網絡的第四組參數；

將特征提取網絡的第一組參數、第二組參數和第三組參數進行加權處理，得到特征提取網絡的最終參數，包括：

將特征提取網絡的第一組參數、第二組參數、第三組參數和第四組參數進行加權處理，得到特征提取網絡的最終參數。

其中，兩種模態的圖像選自可見光圖像、深度圖像、紅外圖像、素描圖像和3D圖像中的兩種。

其中，利用每個目標的兩種模態的圖像特征的差異計算損失，包括：