[發明專利]一種基于單一像素標注的圖像語義分割方法及系統

有效

• 申請號: 202010023166.0
• 申請日: 2020-01-09
• 公開（公告）號: CN111259936B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 馬惠敏;李熹;儲華珍;陳衍先;易生
• 申請（專利權）人: 北京科技大學;清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發明提供一種基于單一像素標注的圖像語義分割方法及系統，該方法包括：基于每個類別單一像素的標簽，利用表觀特征和語義特征，分別編碼每個類別；基于每個類別的特征表達，計算訓練圖像每個超像素與各類別的相似度；利用圖像上下文信息和駕駛場景位置先驗，更新相似度計算結果，生成初始監督種子；利用初始監督種子，訓練語義分割網絡，學習不同實例的同物性特征，更新每個超像素與各類別的相似度；迭代地執行初始監督種子生成和相似度更新過程，直至收斂；保存收斂后的語義分割網絡。本發明為駕駛場景下的弱監督語義分割任務提供了一種可行策略，在自動駕駛等場景下具有廣泛應用前景。

技術領域

本發明涉及模式識別技術領域，特別是指一種基于單一像素標注的圖像語義分割方法及系統。

背景技術

在人工智能計算機視覺領域，圖像語義分割是一個重要的研究領域，該任務旨在為圖像提供像素級別的類別標注，實現圖像理解過程。

近年來，針對駕駛場景的圖像理解任務得到了國內外許多學者的關注和大量研究，并在全監督條件下，取得了越來越有意的性能。這些方法依賴大量的高精度的像素級手工標簽，實現深度神經網絡的訓練過程。然而，這些方法往往依賴大量的數據標注，且模型的性能受到采集數據的局限性的影響，往往不具備足夠高的泛化性能。在面向新的場景時，需要采集新的數據并進行標注，這也限制了這種方法在駕駛場景的應用。

另一方面，弱監督學習提供了一種輕量化的方法，在訓練語義分割網絡模型時，不需要提供大量的像素級別圖像標注，因此在以自動駕駛為代表的眾多領域中都有著廣泛的應用前景。現有的弱監督標注方法主要包括了提供給圖像中每個類別圖像級、包圍盒級標簽等方式，這些標注形式為解決只包含少量類別物體的自然場景圖像中的語義分割任務提供了可解條件。然而，在面向包含了大量類別的復雜駕駛場景時，已有的弱監督標注方式不僅不足夠輕量化，還無法為每個類別的學習提供幫助。因此，提供一種面向復雜駕駛場景的、更輕量且合理的弱監督標注方式具有重要意義。

在弱監督條件和復雜的駕駛場景的約束下，算法的設計和訓練難度都顯著提升。這里，如何實現對每個類別的最適特征編碼，以及如何利用駕駛場景下各類別目標位置先驗信息和同物性特征實現可靠地像素級分割，是面向駕駛場景的弱監督語義分割任務亟待解決的難題。

發明內容

本發明要解決的技術問題是提供一種基于單一像素標注的圖像語義分割方法及系統，以解決面向復雜駕駛場景的弱監督標注及每個類別的特征編碼問題，在弱監督條件和復雜的駕駛場景的約束下實現可靠地像素級別語義分割。

為解決上述技術問題，本發明提供如下技術方案：

一種基于單一像素標注的圖像語義分割方法，所述方法包括：

步驟一、基于每個類別單一像素的標簽，利用表觀特征和語義特征，分別編碼每個類別，建立每個類別的特征表達；

步驟二、對訓練圖像進行超像素劃分，并基于每個類別的特征表達，計算訓練圖像每個超像素與各個類別的相似度；

步驟三、以每個超像素與各個類別的相似度作為初始條件，利用圖像上下文信息和駕駛場景位置先驗，更新相似度計算結果，生成初始監督種子；

步驟四、利用所述初始監督種子，訓練語義分割網絡，學習不同實例的同物性特征，提供圖像語義分割結果，用于更新每個超像素與各個類別的相似度；

步驟五、迭代地執行步驟三至步驟四，直至語義分割網絡的語義分割性能收斂；保存最終一次訓練得到的語義分割網絡，用于對新的圖像的語義分割。

進一步地，每個類別單一像素的標簽的標注方式為：對于每個類別，從訓練圖像集中僅選取一張包含其的訓練圖像，并只標注一個屬于該類別的像素。

進一步地，所述類別的屬性包括物體和場景；其中，對類別進行編碼時，對于物體類別通過語義特征來表示；對于場景類別通過表觀特征來表示。