[發明專利]一種基于孿生網絡的目標跟蹤方法有效
| 申請號： | 201910930500.8 | 申請日： | 2019-09-29 |
| 公開（公告）號： | CN110807793B | 公開（公告）日： | 2022-04-22 |
| 發明（設計）人： | 申富饒;姜少魁;李俊;趙健 | 申請（專利權）人： | 南京大學;南京和光智能制造研究院有限公司 |
| 主分類號： | G06T7/246 | 分類號： | G06T7/246 |
| 代理公司： | 江蘇圣典律師事務所 32237 | 代理人： | 胡建華;于瀚文 |
| 地址： | 210023 江蘇省南*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 孿生 網絡 目標 跟蹤 方法 | ||
1.一種基于孿生網絡的目標跟蹤方法，其特征在于，包括如下步驟：
步驟1，使用ImageNetVID、GOT數據集生成訓練集和驗證集；
步驟2，使用步驟1生成的訓練集和驗證集訓練網絡N，所述網絡N包括特征提取網絡N1、卷積核K1、K2、K3以及全連接層C1；
步驟3，讀入即將跟蹤的圖像序列或者視頻的第一幀F1，并通過框選的方式指定所要跟蹤的目標的位置L1；
步驟4：記錄跟蹤目標在第一幀的位置L1，并裁取視頻的第一幀F1中L1位置的圖像I1，將其輸入特征提取網絡N1，得到特征圖M1；
步驟5：讀入圖像序列或者視頻的下一幀F2，在上一幀的圖像I1中選擇目標位置周圍的圖像X輸入特征提取網絡N1，得到特征圖M2；
步驟6：將特征圖M1和特征圖M2分別使用卷積核K1、K2進行卷積，得到特征圖M3、M4；
步驟7：將兩張特征圖M3、M4進行卷積操作，得到新的特征圖M5；
步驟8：在新的特征圖M5上用卷積核K3進行卷積，得到更高抽象級別的特征圖M6；
步驟9：將最后的特征圖M6通過全連接層C1，輸出結果；
步驟10：根據步驟9的輸出結果，在當前幀畫出目標的位置；
步驟11：重復步驟4至步驟10，直至處理完成整個視頻或者圖片序列。
2.根據權利要求1所述的方法，其特征在于，步驟1包括如下步驟：
步驟1-1：在當前長度為p的視頻或者圖片序列中隨機選擇n幀F1，F2...Fn，Fn表示第n幀的視頻或者圖片；
步驟1-2，對于步驟1-1中挑選的每一幀Fi，i取值為1～n，隨機選擇km幀p＞kj＞i；
步驟1-3，對于步驟1-2幀中的每一幀在當前幀附近隨機范圍內選取區域，作為要尋找的范圍x，對應的Fi中目標所在區域作為要跟蹤的目標template，template在x中的位置記做L；
步驟1-4：對兩個數據集ImageNetVID、GOT分別執行步驟1-1到步驟1-3，數據集ImageNetVID中的圖像執行完后得到的結果作為訓練集，數據集GOT中的圖像執行完后得到的結果作為驗證集。
3.根據權利要求2所述的方法，其特征在于，步驟2包括如下步驟：
步驟2-1：將訓練集中的數據劃分為K個一組，每組訓練數據包括要跟蹤的目標template、要尋找的范圍x以及目標位置L；
步驟2-2：將每一組數據對應的要跟蹤的目標template和要尋找的范圍x傳入網絡N中，計算得到網絡輸出O；
步驟2-3：計算輸出O與目標位置的L1loss，L1loss表示預測值與真實值的絕對誤差平均值，并通過反向傳播算法更新網絡N的參數，其中，每一組訓練數據的L1loss計算公式為：
其中，1＜＝i＜＝K，1＜＝j＜＝4，Lij表示第i個數據的目標位置，Oij代表第i個數據對應的網絡輸出；
步驟2-4：循環2-1至2-3，直至訓練集中的數據均訓練完成。
4.根據權利要求3所述的方法，其特征在于，步驟4中，圖像I1是RGB三通道圖片。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于南京大學;南京和光智能制造研究院有限公司，未經南京大學;南京和光智能制造研究院有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910930500.8/1.html，轉載請聲明來源鉆瓜專利網。
