[發明專利]一種基于邊緣智能的無人機視頻幀過濾方法及裝置

有效

• 申請號: 202011149463.6
• 申請日: 2020-10-23
• 公開（公告）號: CN112257612B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 馬昕;張維緯;陶英杰;周密;周宏波;余浩然;姜立彧
• 申請（專利權）人: 華僑大學;福建創享藍途科技發展有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/80;G06V10/82;G06V20/17;G06N3/045;G06N3/08
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明提供一種基于邊緣智能的無人機視頻幀過濾方法及裝置，方法包括：在無人機端部署輕量級超分辨率模型FLASR和輕量級目標檢測模型Yolo_ShuffleNet；將采集到的無人機視頻數據使用相似度融合算法初步過濾，得到過濾后的視頻幀；將過濾后的視頻幀輸入到輕量級圖像超分辨率模型FALSR中，得到超分辨率視頻幀；將超分辨率視頻幀輸入到輕量級目標檢測模型Yolo_ShuffleNet，對視頻幀再次進行過濾，過濾掉無目標對象幀，之后上傳至云端，解決了數據傳輸量過大導致時延長與丟失目標幀等問題，在保證目標精度的前提下，提升了目標檢測速度。

技術領域

本發明涉及計算機技術領域，特別涉及一種基于邊緣智能的無人機視頻幀過濾方法及裝置。

背景技術

隨著人工智能技術發展以及無人機應用需求提高，將卷積神經網絡(Convolutional?Neural?Networks，CNN)應用于無人機目標檢測得到了廣泛應用。在無人機上使用CNN進行目標檢測，自動識別航拍圖像中的目標，可以提高效率，但是CNN模型參數多、數據傳輸量和計算量都較大，部署在云端會導致時延長、云服務器壓力大；部署在無人機端會導致精度低、能耗高等問題。

現有的無人機航拍視頻大多分辨率較高，如果將精度高、參數量大的模型直接處理視頻所有的幀，是對計算和存儲資源的浪費。為了解決這一問題，目前主要采用等間隔提取幀或者采用降低視頻幀率的方法來減少視頻數據量，但是這類方法很有可能丟棄目標幀或者造成目標檢測精度下降。

發明內容

本發明要解決的技術問題，在于提供一種基于邊緣智能的無人機視頻幀過濾方法及裝置，將相似度融合算法、輕量級超分辨率模型FALSR以及Yolo_shuffleNet檢測算法部署在無人機端，YOLO檢測算法部署在云端，對無人機目標進行檢測，解決了數據傳輸量過大導致時延長與丟失目標幀等問題，在保證目標精度的前提下，提升了目標檢測速度，保證了邊云協同快速目標檢測。

第一方面，本發明提供了一種基于邊緣智能的無人機視頻幀過濾方法，包括以下步驟：

步驟1、在無人機端部署輕量級超分辨率模型FLASR和輕量級目標檢測模型Yolo_ShuffleNet；

步驟2、將采集到的無人機視頻數據使用相似度融合算法初步過濾，得到過濾后的視頻幀；

步驟3、將過濾后的視頻幀輸入到輕量級圖像超分辨率模型FALSR中，得到超分辨率視頻幀；

步驟4、將超分辨率視頻幀輸入到輕量級目標檢測模型Yolo_ShuffleNet，對視頻幀再次進行過濾，過濾掉無目標對象幀，之后上傳至云端。

進一步地，所述步驟1進一步具體為：在無人機端部署輕量級超分辨率模型FLASR和輕量級目標檢測模型Yolo_ShuffleNet；從無人機視頻數據集中提取每幀圖像，分別輸入到Yolo_ShuffleNet和YOLO中，進行模型遷移訓練，保證分類精度。

進一步地，所述步驟2中相似度融合算法為基于投票機制的相似度融合算法，具體包括：

所述基于投票機制的相似度融合算法包括：相似與不相似；根據基于投票機制的相似度融合算法求出相似度進行投票，根據算法求出的結果不相似的個數大于相似的個數時，則將此幀提取，否則將此幀過濾；計算相似度算法包括：EMD距離算法以及結構相似度算法，用于計算相鄰兩幀間相似度；

定義初始相似度閾值，判斷相似度大小，若兩種算法計算出來的相似度均大于初始相似度閾值，將此幀過濾；

若否，則判斷兩算法相似度是否均小于初始相似度閾值，若是則將此幀保存，若否，則通過融合感知哈希算法計算相似度，并設定第二相似度閾值，若感知哈希相似度大于第二相似度閾值，則將此幀進行過濾；若感知哈希相似度小于等于第二相似度閾值，將此幀保存。

進一步地，所述步驟4進一步具體為：