[發明專利]一種基于光流特征融合的視頻語義分割方法

有效

• 申請號: 202010401842.3
• 申請日: 2020-05-13
• 公開（公告）號: CN111652081B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 周世杰;王蒲;程紅蓉;劉啟和;廖永建;潘鴻韜
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V20/40;G06V20/56;G06V10/26;G06V10/62;G06V10/44;G06V10/74;G06V10/80;G06V10/82
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 錢成岑

本發明公開了一種基于光流特征融合的視頻語義分割方法，包括如下步驟：步驟1，判定視頻序列的當前視頻幀圖像為關鍵幀圖像或非關鍵幀圖像；若為關鍵幀圖像，則執行步驟2，若為非關鍵幀圖像，則執行步驟3；步驟2，提取當前視頻幀圖像的融合位置依賴信息和通道依賴信息的高層語義特征圖；步驟3，通過計算光流場得到當前視頻幀圖像的高層語義特征圖；步驟4，對步驟2和步驟3得到的高層語義特征圖進行上采樣，得到語義分割圖。本發明的方法中融入了光流場和注意力機制思想，可以提升視頻語義分割的速率和準確率。

技術領域

本發明涉及視頻處理技術領域，尤其是一種基于光流特征融合的視頻語義分割方法。

背景技術

伴隨著汽車主動安全和智能化市場需求的不斷增加，越來越多的企業和研究機構開始致力于自動駕駛系統的研究和開發。自動駕駛系統中的環境感知技術作為自動駕駛車輛的眼、耳，為自動駕駛的行為決策系統提供支撐作用。在自動駕駛環境感知技術中，對車輛攝像頭所采集的實時視頻數據進行快速、準確的語義分割是其中至關重要的技術。

自動駕駛汽車對真實駕駛場景進行語義分割，核心問題是對道路語義信息進行提取，以及提高算法的分割速度和在各類復雜環境中對駕駛場景的分割精度。在自動駕駛高動態環境下，常規的基于圖像特征的視覺算法難以發揮出實用性效果。近年來，隨著基于深度卷積神經網絡的語義分割算法的快速發展，在各類圖像分割應用中取得了良好的效果。目前，采用深度卷積網絡學習方法進行圖像語義分割已經成為主流。但是，隨著自動駕駛等領域的發展，圖像語義分割已經不能滿足這些領域的需要，視頻語義分割任務逐漸成為新的重點研究方向。相對于圖像數據而言，視頻數據更加容易獲得，它更是目前信息傳播的主要載體，因此如何高效地完成視頻語義分割任務是目前計算機視覺領域所面臨的重要難題之一。它的困難主要表現在兩個方面：

第一，在自動駕駛應用領域中，視頻數據中的實例多而復雜，導致視頻語義分割算法語義分割精度低。

第二，與圖像語義分割任務相比，視頻語義分割任務所處理的數據量更大，導致視頻語義分割算法計算量更大，分割延遲性高。

針對上面所描述的兩個問題，當前的視頻語義分割算法主要是從兩個方面來研究視頻語義分割任務：一方面是捕捉視頻序列的更多特征信息，通過這些信息提升特征圖對視頻幀的語義表征能力，從而提升視頻幀的語義分割準確率；另一方面是基于視頻序列之間的相關性，通過選取視頻序列關鍵幀的方式，減少整個視頻序列的計算量，提升視頻語義分割算法的分割速度。

發明內容

本發明所要解決的技術問題是：針對上述存在的問題，提供一種基于光流特征融合的視頻語義分割方法。

本發明采用的技術方案如下：

一種基于光流特征融合的視頻語義分割方法，包括如下步驟：

步驟1，判定視頻序列的當前視頻幀圖像為關鍵幀圖像或非關鍵幀圖像；若為關鍵幀圖像，則執行步驟2，若為非關鍵幀圖像，則執行步驟3；

步驟2，提取當前視頻幀圖像的融合位置依賴信息和通道依賴信息的高層語義特征圖；

步驟3，通過計算光流場得到當前視頻幀圖像的高層語義特征圖；

步驟4，對步驟2和步驟3得到的高層語義特征圖進行上采樣，得到語義分割圖。

進一步地，步驟1包括如下子步驟：

步驟1.1，從視頻序列中選取第一個視頻幀圖像作為第一個關鍵幀圖像；

步驟1.2，采用第一深度卷積網絡計算當前視頻幀圖像和關鍵幀圖像之間的相似度expectscore；

步驟1.3，將步驟1.2得到的相似度expect score與設定的相似度閾值target進行比較：