[發明專利]一種基于主動式學習的視頻語義分割方法

有效

• 申請號: 202110012126.0
• 申請日: 2021-01-06
• 公開（公告）號: CN112669325B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 朱錦程;楊鑫;喬羽;樸海音;杜振軍
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪

本發明屬于計算機視覺技術領域，提供了一種基于主動式學習的視頻語義分割方法，包括圖像語義分割、主動式學習數據篩選以及標簽傳播三個模塊；圖像語義分割模塊負責分割圖像結果和提取數據篩選模塊所需的高維特征；數據篩選模塊在圖像層面選取信息量較豐富的數據子集，并在像素層面上選擇需要標注的像素塊；標簽傳播模塊實現圖像到視頻任務的遷移，快速補全視頻的分割結果從而得到弱監督數據。本發明能快速生成弱監督數據集，減少數據制作成本，優化語義分割網絡的性能。

技術領域

本發明屬于計算機視覺技術領域，尤其涉及基于深度學習的圖像語義分割技術，利用主動式學習的思想和方法，針對視頻語義分割數據集制作十分困難的問題，在保證較高的分割精度的前提下，盡可能減少數據標注。

背景技術

視頻語義分割技術是計算機視覺中的一個重要的研究課題，它旨在通過給定某個視頻的RGB圖像作為輸入，預測出圖像中的每一個像素點的類別，從而在圖像上分割出每一個類別對象的具體位置。目前較為熱門的卷積神經網絡(Convolutional neuralnetworks,CNNs)因為其強大的特征提取能力而被廣泛的運用在語義分割任務上。語義分割能夠將RGB圖像中屬于同一部分的像素聚集在一起，能夠很好的解決一些場景理解問題，語義分割常見的應用領域主要包括自動駕駛、醫學醫療等領域，具有較高的研究價值。

在語義分割問題上，需要通過輸入數據來訓練網絡來達到高精度分割效果。在訓練卷積神經網絡的過程中，要想提升網絡在分割上的效果，除了設計精細的網絡結構和模塊以外，大量高質量的語義分割數據集也是一個非常重要的因素。卷積神經網絡需要大量的數據來進行支撐，才能達到更好的泛化性。現如今在語義分割領域中，也出現了許多高精度的室內或室外的視頻分割數據集，給分割領域提供了很大的幫助，使得不同的卷積神經網絡在分割問題上的效果得到了很大的提升。然而，由于近幾年深度學習領域的迅猛發展，在多個計算機視覺領域上都出現了數據集嚴重缺乏的問題，盡管高質量數據集也在不斷地擴充，但是與神經網絡框架的數量的增長速度相比還是相差甚遠。

針對上述數據缺乏的問題，主動式學習隨之再次進入人們的視野中。通過利用主動式學習方法，可以在大量未標注的數據中尋找出對神經網絡效果影響最大的數據子集，通過標注挑選出的子集并輸入到CNN中進行訓練，就可以讓網絡達到較高的分割效果。這種方法旨在給予盡可能少的帶標簽數據，使得卷積神經網絡盡可能達到原來全部數據集輸入網絡得到的效果。因此，通過主動式學習與深度學習兩者相結合，可以很好的解決語義分割領域中缺乏數據的問題，并保證網絡的分割精度，為語義分割技術的進步提供了更多的潛在可能性。接下來詳細介紹上述領域的相關技術背景。

(1)語義分割

在早期圖像分割的領域中，因為計算機的性能有限，所以在當時的分割技術只能處理一些灰度圖，提取一些低級的特征值。隨著機器學習和深度學習這些理論知識的快速發展，以及高性能硬件的涌現，以深度學習為基礎的語義分割技術不斷更新迭代。利用神經網絡可以在語義分割任務上建立起輸入RGB圖像與輸出的像素級分類的映射。

在深度學習應用于計算機視覺領域的起初階段，Long等人提出了全卷積神經網絡(Fully Convolutional Network,FCN)。在FCN的分割下，不僅能在RGB圖像上按照物體的類別分割，還可以在分割結果中很明了的看出分割后的物體信息。目前，大多數的基于深度學習的語義分割網絡都在FCN的基礎上進行調整和修改，FCN被認為是語義分割領域上的一個里程碑。隨后，為了擴大神經網絡的感受野，Chen等人提出了條件隨機場(CRF)，Yu等人提出了多尺度空洞卷積的概念。CRF通過后處理來細化分割結果，而多尺度空洞卷積通過高維特征和低維特征相結合來提高分割的性能。隨后PSPNet提出了一種金字塔網絡結構，通過不同尺度的池化層來獲取圖像中更多的上下文信息，并連接在一起從而改進分割結果。隨著擴張卷積技術不斷地完善和發展，目前較為流行的Deeplabv3開始出現。這種網絡結構既采用了空洞卷積ASPP結構，又加深了卷積層數，進一步提升了語義分割精度，成為了目前通用的一種語義分割框架。

(2)主動式學習