[發明專利]一種基于語義感知的跨域道路場景語義分割方法

有效

• 申請號: 202210083793.2
• 申請日: 2022-01-21
• 公開（公告）號: CN114529878B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 雷印杰;彭鐸
• 申請（專利權）人: 四川大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/764;G06V20/70;G06V10/82;G06N3/0464;G06N3/0455
• 代理公司: 廣東中禾共贏知識產權代理事務所(普通合伙) 44699
• 代理人: 熊士昌

本發明涉及語義分割技術領域，且公開了一種基于語義感知的跨域道路場景語義分割方法，所述予以分割方法包括以下步驟：S1、將源域圖像按照批次送入特征編碼器，得到批次內多個圖像的特征；S2、將批次內圖像特征送入基于語義感知的中心對齊模塊，將具有不同風格的源域圖像在特征空間內實現全局中心對齊；S3、將中心對齊后的特征送入基于語義感知的分布對齊模塊，對批次內多種風格的圖像特征進一步實現局部分布對齊。該基于語義感知的跨域道路場景語義分割方法，減輕標注成本，訓練網絡最基礎的源域圖像可以直接從游戲中獲得，相應的標簽也是通過引擎直接生成，無需人工標注，節省大量人力物力。

技術領域

本發明涉及語義分割技術領域，具體為一種基于語義感知的跨域道路場景語義分割方法。

背景技術

圖像語義分割是指計算機根據圖像的語義內容實現對圖像的深層理解，然后進行像素級可視化分割。近些年來，隨著人工智能的不斷發展，基于深度神經網絡的語義分割技術開始越來越多地應用到工業生產、社會安防和交通運輸等各個方面，其中，語義分割實現無人駕駛是一項熱門研究領域，有著良好的發展前景。語義分割是無人車駕駛的核心算法，當車載攝像頭探查到圖像后，將圖像輸入到神經網絡中，后臺運算設備可以自動將圖像分割歸類，實現行人和車輛的障礙避讓。

在近幾年的發展中，深度學習語義分割的性能趨于完善，但是研究人員發現，在訓練數據集上表現優異的模型在其他場景中應用時效能并不理想，這是因為訓練圖像(源域)和應用的圖像(目標域)存在于兩個不同的域，他們的數據分布不一致。對此，科研人員提出了大量基于深度學習的人工智能方法，來應對跨域后語義分割的效能衰減問題，通常這些方法需要提前獲取目標域的圖像來進一步地將源域分布適應為目標域的分布，從而提高在目標域的分割魯棒性，但這存在兩個問題：其一，目前的大多數方法為了適應新的目標域就必須要提前獲得這個目標域的一部分圖像數據，這無疑是非常耗費人力物力的，以自動駕駛為例，運營商不可能提前獲得所有目標地區的道路圖像。其二，這些方法旨在針對某個已知的目標域進行跨域分割，固定好的模型僅能夠適用于這個特定的域，不能泛化到其他域當中，不能滿足實際應用的需要，因此十分需要提出一個不依賴目標域數據且同時具有可觀泛化性能的方法。考慮到游戲引擎可以產生大量擬真圖像，同時易于獲取對應的標簽，為了解決上述問題，本發明在特征空間中處理數據，將數據從中心和分布兩個層面進行對齊，同時考慮到不同類別特征的分布差異，對不同類別的特征分別對齊，實現了高鑒別力的域不變特征變換，從而增強模型的多域泛化的性能。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種基于語義感知的跨域道路場景語義分割方法，具備僅通過源域數據訓練所得的模型，不依賴任何目標域數據及數據增強方法，實現高鑒別力的與不變特征轉換，從而保證模型具有可觀多域泛化性能等優點，解決了上述背景技術中所提出的問題。

(二)技術方案

本發明提供如下技術方案：一種基于語義感知的跨域道路場景語義分割方法，所述語義分割方法包括以下步驟：

S1、將源域圖像按照批次送入特征編碼器，得到批次內多個圖像的特征。

S2、將批次內圖像特征送入基于語義感知的中心對齊模塊，將具有不同風格的源域圖像在特征空間內實現全局中心對齊。

S3、將中心對齊后的特征送入基于語義感知的分布對齊模塊，對批次內多種風格的圖像特征進一步實現局部分布對齊。

S4、將處理后的特征送入特征解碼器，得到與原圖尺寸大小一致的語義分割預測結果。

S5、對當前批次圖像的分割預測結果計算損失值并依據損失值訓練網絡。

S6、保存訓練模型，即可得應用于任何場景進行語義分割的模型。

優選的，所述步驟S1中，批處理的圖像數量至少為2個圖像。