[發明專利]基于孿生深度神經網絡的動目標分割方法及系統

有效

• 申請號: 202010619639.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111768432B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 鄒卓君;蒿杰;舒琳;梁俊;郭堯
• 申請（專利權）人: 中國科學院自動化研究所;廣東人工智能與先進計算研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/194;G06K9/62;G06N3/08;G06N3/04;G06V10/80;G06V10/82
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明涉及一種基于孿生深度神經網絡的動目標分割方法及系統，所述分割方法包括：獲取多組歷史圖像信息，每組歷史圖像信息包括同一視頻中、尺寸大小相同的當前幀和參考幀、以及標有目標的運動情況的標簽；根據各組歷史圖像信息，訓練VGG16網絡模型；根據訓練后的VGG16網絡模型，對待檢測圖像進行運動變換檢測和相對背景檢測，確定所述待檢測圖像中的動目標情況。本發明通過多組當前幀、參考幀及標簽，對VGG16網絡模型訓練，將時間維度的信息通過對模板幀的對比，由于孿生網絡中對模板的靈活選取，使本發明能夠在利用時間維度信息的情況下良好地適應運動攝影條件，有效提高對動目標分割的準確度。

技術領域

本發明涉及神經網絡模型及圖像處理技術領域，特別涉及一種基于孿生深度神經網絡的動目標分割方法及系統。

背景技術

運動目標分割算法模型可以分為非學習模型和機器學習模型，其中機器學習模型進一步分為無監督學習模型和監督學習模型。無監督學習方法和非學習方法不需要特定地學習數據，更具有普適性，而監督學習方法則有更好的精度。完全不處理時序關系的方法以基于生成式對抗網絡和多尺度的卷積網絡為主，在數據集上取得了最好的成績。因為攝像頭是否運動與結果無關，該類方法在PTZ類別表現良好。基于時空分析的模型則對攝像環境移動的適應性差，在整體成績上落后于僅做空間分析的模型。

1. 非學習模型

非學習的動態目標分割模型以基于幀差分的方法為主。該類算法的主要優點是計算速度快，代碼易于硬件實現。單純的幀差分算法對環境影響比如光照和遮擋等因素適應性較差。在CDNet數據集上，該類算法在穩定的攝像條件下表現良好，但是對于有較多變化因素場景下的表現不能被應用環境接受，比如背景運動或者攝像機抖動移動等。

2. 無監督學習模型

基于受限玻爾茲曼機(RBM)的方法通過去掉背景來檢測運動物體，其中RBM的權重由圖像建模得到。RBM及其衍生方法存在的主要問題是準確率比較低，并且需要額外模型來解決不同場景的需求。

自組織映射網絡通過動態調整像素的空間關聯來學習場景中的運動信息。結果最好的一種自組織映射網絡的變體通過設計自組織映射層和濾波層結合的結構來提高網絡精度，在CDNet2014上的總體的F值（機器學習和推薦系統中的評測指標—準確率(Precision)、召回率(Recall)、F值(F-Measure)）為0.816。基于自組織映射網絡的方法的缺點是需要手動調整4個參數，以及在PTZ類別結果較差。

3. 監督學習模型

根據處理數據的方法，可以將監督學習分為空間分析模型和時空分析模型。其中空間分析模型只分析同一幀中不同像素之間的關系，而時空模型則會同時考慮到幀間的像素變化。

（1）空間分析模型

生成式對抗網絡(GAN)為運動物體分割從背景去除的角度提供了另一種解決思路。在CDNet2014上的實驗，BGAN模型及其提升版本BPVGAN模型在總體數據上的F值分別是0.934和0.95。作為背景去除的方法，GAN的衍生模型取得了良好的成績，但是其測試過程僅在靜止的單幀圖片上進行，沒有考慮運動因素。