[發明專利]基于孿生深度神經網絡的動目標分割方法及系統

有效

• 申請號: 202010619639.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111768432B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 鄒卓君;蒿杰;舒琳;梁俊;郭堯
• 申請（專利權）人: 中國科學院自動化研究所;廣東人工智能與先進計算研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/194;G06K9/62;G06N3/08;G06N3/04;G06V10/80;G06V10/82
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于孿生深度神經網絡的動目標分割方法，其特征在于，所述分割方法包括：

獲取多組歷史圖像信息，每組歷史圖像信息包括同一視頻中、尺寸大小相同的當前幀和參考幀、以及標有目標的運動情況的標簽；

根據各組歷史圖像信息，訓練VGG16網絡模型，具體包括：

針對每組歷史圖像，

通過VGG16網絡模型的特征提取層分別提取所述當前幀和參考幀的特征，得到四對特征圖；

針對每對特征圖，

通過VGG16網絡模型的第一融合層，對該對特征圖進行第一信息融合，得到運動變換圖像集和相對背景圖像集；

通過VGG16網絡模型的采樣層，分別對運動變換圖像集和相對背景圖像集上采樣，得到運動變換采樣圖像集及相對背景采樣檢測圖像集；所述運動變換采樣圖像集包括當前幀運動變換采樣圖像和參考幀運動變換采樣圖像，所述相對背景采樣檢測圖像集包括當前幀相對背景采樣檢測圖像及參考幀相對背景采樣檢測圖像；

通過VGG16網絡模型的第二融合層，分別對所述運動變換采樣圖像集及相對背景采樣檢測圖像集進行第二次融合，得到對應的運動變換檢測圖像和相對背景檢測圖像；

通過VGG16網絡模型的softmax層，根據每組歷史圖像中的運動變換檢測圖像和相對背景檢測圖像，確定目標的當前運動情況；

根據目標的當前運動情況及對應的標簽，更新所述VGG16網絡模型的參數；

根據訓練后的VGG16網絡模型，對待檢測圖像進行運動變換檢測和相對背景檢測，確定所述待檢測圖像中的動目標情況；

其中，通過VGG16網絡模型的第二融合層，分別對所述運動變換采樣圖像集及相對背景采樣檢測圖像集進行第二次融合，得到對應的運動變換檢測圖像和相對背景檢測圖像，具體包括：

通過16通道的1X1卷積核分別對當前幀運動變換采樣圖像和參考幀運動變換采樣圖像進行特征提取，得到當前幀運動特征圖和參考幀運動特征圖；

計算所述當前幀運動特征圖和參考幀運動特征圖的元素級別的絕對值差，得到運動變換檢測圖像；

通過16通道的3X3卷積核對當前幀相對背景采樣檢測圖像及參考幀相對背景采樣檢測圖像進行卷積，得到當前幀背景特征圖及參考幀背景特征圖；

將當前幀背景特征圖及參考幀背景特征圖的差與當前幀運動特征圖拼接，得到拼接信息；

通過16通道的1X1卷積核對所述拼接信息進行信息融合，得到相對背景檢測圖像。

2.根據權利要求1所述的基于孿生深度神經網絡的動目標分割方法，其特征在于，所述運動變換檢測圖像為：

；

所述相對背景檢測圖像為：

；

其中，表示16通道的1X1卷積核，表示16通道的3X3卷積核，表示拼接函數，表示當前幀運動特征圖，表示參考幀運動特征圖，表示當前幀背景特征圖，表示參考幀背景特征圖。

3.根據權利要求1所述的基于孿生深度神經網絡的動目標分割方法，其特征在于，所述特征提取層包括五部分，分別為2個包含64個通道的卷積層及一個最大池化層、2個包含128個通道的卷積層及一個最大池化層、3個包含256個通道的卷積層及一個最大池化層、3個包含512個通道的卷積層一個最大池化層、3個包含512個通道的卷積層一個最大池化層；各最大池化層均用于將輸入的特征圖的尺寸大小縮小二分之一；

所述采樣層通過反卷積的方法，分別對運動變換圖像集和相對背景圖像集的比例擴大2的整數次冪大小；通過均勻切剪邊緣將過度放大的部分切掉，以保持和原圖尺寸相同；

所述第二融合層包括卷積層、批歸一化層和及ReLU激活層。

4.根據權利要求1-3中任一項所述的基于孿生深度神經網絡的動目標分割方法，其特征在于，所述分割方法還包括：

對所述VGG16網絡模型的權重初始化；

計算采用帶權重的交叉熵損失函數；

根據所述交叉熵損失函數對所述VGG16網絡模型進行更新。