[發明專利]一種基于單一像素標注的圖像語義分割方法及系統

有效

• 申請號: 202010023166.0
• 申請日: 2020-01-09
• 公開（公告）號: CN111259936B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 馬惠敏;李熹;儲華珍;陳衍先;易生
• 申請（專利權）人: 北京科技大學;清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于單一像素標注的圖像語義分割方法，其特征在于，包括：

步驟一、基于每個類別單一像素的標簽，利用表觀特征和語義特征，分別編碼每個類別，建立每個類別的特征表達；

步驟二、對訓練圖像進行超像素劃分，并基于每個類別的特征表達，計算訓練圖像每個超像素與各個類別的相似度；

步驟三、以每個超像素與各個類別的相似度作為初始條件，利用圖像上下文信息和駕駛場景位置先驗，更新相似度計算結果，生成初始監督種子；

步驟四、利用所述初始監督種子，訓練語義分割網絡，學習不同實例的同物性特征，提供圖像語義分割結果，用于更新每個超像素與各個類別的相似度；

步驟五、迭代地執行步驟三至步驟四，直至語義分割網絡的語義分割性能收斂；保存最終一次訓練得到的語義分割網絡，用于對新的圖像語義分割；

所述類別的屬性包括物體和場景；其中，對類別進行編碼時，對于物體類別通過語義特征來表示；對于場景類別通過表觀特征來表示；所述語義特征采用先將待處理圖像切分為預設數量的碎片，再對每個碎片基于預訓練的類別激活映射網絡模型進行特征提取，最后得到與待處理圖像全圖等大的預設維度的語義特征圖，并將每一種物體表示為一個語義特征向量；所述表觀特征采用將顏色特征和紋理特征分別編碼為96維和32維的特征，并將每一種場景表示為若干組顏色特征和紋理特征；

當類別的屬性為物體時，類別的編碼過程包括：

將待處理圖像切分為15個相等大小的碎片，將每個碎片經過映射網絡模型，編碼成16×16×1000維的特征圖，對于1000維的特征維度，將其歸一化；對于圖像中每個像素，計算該像素坐標與15個碎片中心坐標的距離，用與其最近的碎片中對應該像素的位置上的1000維特征作為該像素的語義熱圖響應；

利用超像素分割方法將待處理圖像分為多個超像素，對于每個超像素，用其包含的所有像素的語義熱圖響應的平均值，作為該超像素的語義特征對于被標注類別的像素，將其對應的1000維特征向量作為該類別的初始的類中心，記為計算和的相似度；

將與相似度最大的前1％的超像素選取為集合Ω_g；

用E-M方法交替更新和Ωg，直到穩定；

記錄最終得到的作為該物體類別的編碼特征；

當類別的屬性為場景時，類別的編碼過程包括：

計算待處理圖像的三通道顏色特征和局部二值化模式編碼的紋理特征，并進行歸一化；利用超像素分割的方法將待處理圖像分為多個超像素；對于每個超像素，在每個特征通道中，將[0,1]劃分為32個相等的區間，對其包含像素的值進行統計；由此，每個超像素將得到96維的顏色特征和32維的紋理特征；

計算待處理圖像的邊緣特征和顯著性特征，計算兩兩超像素對的相似性；

記錄兩兩超像素之間的邊緣距離度量；

確定包含了標注類別像素的超像素，并計算圖中其他超像素與該超像素的相似度，記錄所有與之相似度大于0.5的超像素；

對于記錄的超像素，計算兩兩超像素的顏色特征相似度和紋理特征相似度，記錄二者的乘積，作為該超像素對的表觀特征相似度；以0.5為閾值，將這些超像素分為G個組，每個組內超像素的平均特征作為該組的類中心；

通過E-M方法交替更新類中心和超像素的分組，直到穩定；

記錄最終得到的G個類中心，作為該場景類別的編碼特征組。

2.如權利要求1所述的基于單一像素標注的圖像語義分割方法，其特征在于，每個類別單一像素的標簽的標注方式為：對于每個類別，從訓練圖像集中僅選取一張包含其的訓練圖像，并只標注一個屬于該類別的像素。

3.如權利要求1所述的基于單一像素標注的圖像語義分割方法，其特征在于，所述計算訓練圖像每個超像素與各個類別的相似度，包括：

計算圖像的語義特征和表觀特征，并將圖像劃分為多個超像素區域，對于每一個超像素區域，生成每個超像素的語義特征和表觀特征；

分別計算每個超像素與各類別的相似度；對于每個屬于物體的類別，計算該超像素的語義特征與該類別語義特征的相似度；

對于每個屬于場景的類別，計算該超像素的表觀特征與該類別編碼特征組中每一特征向量的相似度，將其中的最大值記錄為該超像素與該類別的相似度。