[發(fā)明專利]一種基于邊緣智能的無人機(jī)視頻幀過濾方法及裝置

有效

• 申請?zhí)枺?/td>: 202011149463.6
• 申請日: 2020-10-23
• 公開（公告）號: CN112257612B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計）人: 馬昕;張維緯;陶英杰;周密;周宏波;余浩然;姜立彧
• 申請（專利權(quán)）人: 華僑大學(xué);福建創(chuàng)享藍(lán)途科技發(fā)展有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/80;G06V10/82;G06V20/17;G06N3/045;G06N3/08
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種基于邊緣智能的無人機(jī)視頻幀過濾方法，其特征在于：包括以下步驟：

步驟1、在無人機(jī)端部署輕量級超分辨率模型FLASR和輕量級目標(biāo)檢測模型Yolo_ShuffleNet；

步驟2、將采集到的無人機(jī)視頻數(shù)據(jù)使用相似度融合算法初步過濾，得到過濾后的視頻幀；

步驟3、將過濾后的視頻幀輸入到輕量級圖像超分辨率模型FALSR中，得到超分辨率視頻幀；

步驟4、將超分辨率視頻幀輸入到輕量級目標(biāo)檢測模型Yolo_ShuffleNet，對視頻幀再次進(jìn)行過濾，過濾掉無目標(biāo)對象幀，之后上傳至云端；

所述步驟2中相似度融合算法為基于投票機(jī)制的相似度融合算法，具體包括：

所述基于投票機(jī)制的相似度融合算法包括：相似與不相似；根據(jù)基于投票機(jī)制的相似度融合算法求出相似度進(jìn)行投票，根據(jù)算法求出的結(jié)果不相似的個數(shù)大于相似的個數(shù)時，則將此幀提取，否則將此幀過濾；計算相似度算法包括：EMD距離算法以及結(jié)構(gòu)相似度算法，用于計算相鄰兩幀間相似度；

定義初始相似度閾值，判斷相似度大小，若兩種算法計算出來的相似度均大于初始相似度閾值，將此幀過濾；

若否，則判斷兩算法相似度是否均小于初始相似度閾值，若是則將此幀保存，若否，則通過融合感知哈希算法計算相似度，并設(shè)定第二相似度閾值，若感知哈希相似度大于第二相似度閾值，則將此幀進(jìn)行過濾；若感知哈希相似度小于等于第二相似度閾值，將此幀保存；

所述步驟4進(jìn)一步具體為：

輕量級目標(biāo)檢測模型Yolo_ShuffleNet利用YOLOv3的結(jié)構(gòu)，將YOLOv3主干網(wǎng)絡(luò)替換為ShuffleNetv2；將超分辨率視頻幀輸入到輕量級目標(biāo)檢測模型Yolo_ShuffleNet，進(jìn)行再次過濾，判斷圖中是否有目標(biāo)，當(dāng)檢測目標(biāo)對象為0時，過濾無目標(biāo)幀；當(dāng)檢測圖中含有目標(biāo)對象時，將此幀傳輸?shù)皆贫恕?/p>

2.根據(jù)權(quán)利要求1所述的一種基于邊緣智能的無人機(jī)視頻幀過濾方法，其特征在于：所述步驟1進(jìn)一步具體為：在無人機(jī)端部署輕量級超分辨率模型FLASR和輕量級目標(biāo)檢測模型Yolo_ShuffleNet；從無人機(jī)視頻數(shù)據(jù)集中提取每幀圖像，分別輸入到Y(jié)olo_ShuffleNet和YOLO中，進(jìn)行模型遷移訓(xùn)練，保證分類精度。

3.根據(jù)權(quán)利要求1所述的一種基于邊緣智能的無人機(jī)視頻幀過濾方法，其特征在于：還包括步驟5、將步驟4中得到的視頻幀，輸入到部署在云端的目標(biāo)檢測模型YOLO，進(jìn)行目標(biāo)檢測。