[發明專利]航拍視頻顯著性區域檢測方法和裝置

有效

• 申請號: 201811290665.5
• 申請日: 2018-10-31
• 公開（公告）號: CN109543561B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 李甲;付奎;沈鴻澤;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 羅英;劉芳

1.一種航拍視頻顯著性區域檢測方法，其特征在于，包括：

通過M個地面級經典顯著性模型，獲取樣本數據集對應每個所述地面級經典顯著性模型的樣本顯著圖集合，所述樣本數據集為從顯著性區域已標注的樣本航拍視頻中提取的連續的視頻圖像序列；其中，M大于等于2；

初始化M個單路卷積神經網絡，并利用所述樣本數據集和M個所述樣本顯著圖集合分別訓練所述M個單路卷積神經網絡，獲取訓練后的M個卷積神經網絡模型；

利用所述訓練后的M個單路卷積神經網絡模型中的N個單路卷積神經網絡模型初始化N路卷積神經網絡，并利用所述樣本數據集訓練所述N路卷積神經網絡，獲取訓練后的N路卷積神經網絡模型；其中，N大于或等于2且小于或等于M；

根據所述訓練后的N路卷積神經網絡模型，獲取待檢測數據集的空域顯著圖集合，所述待檢測數據集為從當前需要檢測的航拍視頻中提取的連續的視頻圖像序列；

根據基于離散余弦變換DCT的方法，獲取所述待檢測數據集的時域顯著圖集合；

根據所述空域顯著圖集合和所述時域顯著圖集合，得到所述待檢測數據集的時空顯著圖集合。

2.根據權利要求1所述的方法，其特征在于，所述利用所述訓練后的M個單路卷積神經網絡模型中的N個單路卷積神經網絡模型初始化N路卷積神經網絡之前，還包括：

根據優化公式從所述訓練后的M個單路卷積神經網絡模型中選擇所述N個單路卷積神經網絡模型；

其中，優化公式為：α^*＝arg maxΩ_r+λ_dΩ_d，其中，α^*為1*M的向量，其中，元素α_i等于1時，說明選擇編號為i的所述單路卷積神經網絡模型；Ω_r表示選擇的所述N個單路卷積神經網絡模型的代表性；Ω_d表示選擇的所述N個單路卷積神經網絡模型的多樣性；λ_d表示平衡參數，用來平衡代表性和多樣性。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述空域顯著圖集合和所述時域顯著圖集合，得到所述待檢測數據集的時空顯著圖集合，包括：

獲取所述空域顯著圖集合中的空域顯著圖和所述時域顯著圖集合中的時域顯著圖的交集顯著圖；

選擇所述空域顯著圖集合中的空域顯著圖或所述時域顯著圖集合中的時域顯著圖作為補償顯著圖；

根據所述交集顯著圖、所述補償顯著圖、權重值，獲得時空顯著圖，所述時空顯著圖為所述待檢測數據集中其中一張圖像的顯著性區域結果圖；其中，所述權重值用于表示所述交集顯著圖在所述時空顯著圖中的權重值，所述交集顯著圖在所述時空顯著圖中的權重值與所述補償顯著圖在所述時空顯著圖中的權重值之和等于預設值；

獲取所述待檢測數據集中每張圖像的顯著圖，獲得所述待檢測數據集的時空顯著圖集合。

4.根據權利要求3所述的方法，其特征在于，所述獲取所述空域顯著圖集合中的空域顯著圖和所述時域顯著圖集合中的時域顯著圖的交集顯著圖，包括：

獲取空間對時間一致性分數和時間對空間一致性分數；

根據所述空間對時間一致性分數和所述時間對空間一致性分數，獲取所述交集顯著圖。

5.根據權利要求4所述的方法，其特征在于，所述選擇所述空域顯著圖集合中的空域顯著圖或所述時域顯著圖集合中的時域顯著圖作為補償顯著圖，包括：

分別獲取所述空域顯著圖和所述時域顯著圖的緊湊程度；

判斷所述空域顯著圖的緊湊程度是否小于或等于所述時域顯著圖的緊湊程度；

若是，則選擇所述補償顯著圖為所述空域顯著圖；

若否，則選擇所述補償顯著圖為所述時域顯著圖。