[發明專利]基于車輛圖像的弱監督語義分割方法及其相關設備

有效

• 申請號: 202011248210.4
• 申請日: 2020-11-10
• 公開（公告）號: CN112329659B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 童新宇;劉莉紅;劉玉宇;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V20/70;G06V10/74;G06V10/762;G06V10/764;G06V10/82;G06N3/0464;G06N3/0895
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于車輛圖像的弱監督語義分割方法，其特征在于，包括下述步驟：

接收的預先標注的車輛圖像，并輸入至預先訓練的識別網絡中，獲得初始特征圖和父類類別激活圖，其中，所述預先標注的車輛圖像為圖像級的標注；

基于預設的聚類算法和預設的子類標簽，對所述初始特征圖的像素進行聚類，獲得包含多個子類標簽的目標車輛特征圖，其中，所述子類標簽為所述目標車輛特征圖的像素的唯一分類標識；

基于所述父類類別激活圖計算類別權重，通過所述類別權重加權所述目標車輛特征圖，獲得初始類別激活圖；

基于預先訓練的相似度預測網絡調整所述初始類別激活圖，獲得目標類別激活圖，并將標識所述目標類別激活圖中的像素的子類標簽作為偽語義標簽；

基于所述偽語義標簽訓練預設的語義分割網絡，獲得訓練后的語義分割網絡；

接收待識別車輛圖像，輸入至訓練后的語義分割網絡中，獲得像素級的語義分割圖像；

基于預先訓練的相似度預測網絡調整所述初始類別激活圖，獲得目標類別激活圖的步驟包括：

將所述初始類別激活圖輸入至預先訓練的相似度預測網絡，獲得預測的相鄰坐標像素對之間的語義相似度；

基于所述語義相似度，通過預設的隨機游走算法在所述初始類別激活圖中傳遞激活分數，獲得游走類別激活圖，其中，所述激活分數為所述初始類別激活圖中包含的每個子類標簽對應的類別權重；

將所述游走類別激活圖輸入至預設的條件隨機森林中，獲得所述目標類別激活圖。

2.根據權利要求1所述的基于車輛圖像的弱監督語義分割方法，其特征在于，所述基于所述語義相似度，通過預設的隨機游走算法在所述初始類別激活圖中傳遞激活分數，獲得游走類別激活圖的步驟包括：

將超過預設閾值的語義相似度作為相同語義；

在所述初始類別激活圖中，通過預設的隨機游走算法將所述激活分數傳遞到具有相同語義的鄰近像素。

3.根據權利要求1所述的基于車輛圖像的弱監督語義分割方法，其特征在于，所述識別網絡包括特征提取網絡、全局平均池化層和全連接層，所述接收的預先標注的車輛圖像，并輸入至預先訓練的識別網絡中，獲得初始特征圖和父類類別激活圖的步驟包括：

將預先標注的車輛圖像輸入至所述特征提取網絡，獲得初始車輛特征；

將所述初始車輛特征依次輸入至所述全局平均池化層和全連接層中，獲得所述父類類別激活圖。

4.根據權利要求1所述的基于車輛圖像的弱監督語義分割方法，其特征在于，所述基于預設的聚類算法和預設的子類標簽，對所述初始特征圖的像素進行聚類，獲得包含多個子類標簽的目標車輛特征圖的步驟包括：

基于K-means無監督聚類算法和預設的子類標簽，對所述初始特征圖的像素進行聚類，獲得多個子類，其中，每個所述子類對應一個預設的子類標簽；

基于所述子類和所述子類標簽對所述初始特征圖中的像素進行標注，獲得所述目標車輛特征圖。

5.根據權利要求1所述的基于車輛圖像的弱監督語義分割方法，其特征在于，所述基于所述父類類別激活圖計算類別權重，通過所述類別權重加權所述目標車輛特征圖中的像素，獲得所述初始類別激活圖的步驟包括：

基于預設的分類模型計算所述父類類別激活圖中各像素的計算類別權重；

通過所述類別權重加權所述目標車輛特征圖中的像素，獲得所述初始類別激活圖。

6.根據權利要求1所述的基于車輛圖像的弱監督語義分割方法，其特征在于，所述基于所述偽語義標簽訓練預設的語義分割網絡，獲得訓練后的語義分割網絡的步驟包括：

基于所述偽語義標簽標注所述車輛圖像中對應的像素，獲得像素級標注的車輛圖像；

通過所述像素級標注的車輛圖像訓練預設的語義分割網絡，獲得所述訓練后的語義分割網絡。