[發明專利]一種基于域自適應的幀間圖像語義分割方法與系統

有效

• 申請號: 202210357799.4
• 申請日: 2022-04-07
• 公開（公告）號: CN114445413B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 蔣先濤;張紀莊;郭詠梅;郭詠陽
• 申請（專利權）人: 寧波康達凱能醫療科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 寧波市鄞州盛飛專利代理事務所(特殊普通合伙) 33243
• 代理人: 龍洋

1.一種基于域自適應的幀間圖像語義分割方法，其特征在于，以真實世界的城市景觀數據集作為目標圖像，以帶有語義標簽的城市景觀數據集作為訓練圖像，包括步驟：

S1：獲取預設數量的目標圖像和訓練圖像；

S2：通過圖像層級的域自適應處理訓練圖像，獲得視覺風格優化后的增強圖像；

S3：獲取增強圖像經過目標渲染處理后，帶有相應語義標簽的目標渲染圖像；

S4：通過最小熵損失函數進行目標渲染圖像與目標圖像之間基于對抗學習的域間自適應訓練；

S5：基于目標圖像的熵圖平均值提取目標圖像中預設域間隙范圍內的圖像作為有監督數據，并提取目標圖像中預設域間隙范圍外的圖像作為無監督數據；

S6：通過域間自適應訓練后的模型結合有監督數據，與無監督數據進行基于熵的對抗學習，獲取域內自適應后的語義分割模型；

所述S5步驟中，熵圖平均值表示為如下公式：

式中，R(|X_t|)為熵圖平均值，H、W分別表示目標圖像的長度和寬度，h為上限為H的常數，w為上限為W的常數，為目標圖像在（h，w）處的熵值；

所述預設域間隙范圍由如下公式確認：

式中，λ為預設域間隙范圍，|X_t|為當前幀圖像的熵圖平均值，|X_te|為目標圖像通過YOLO模型檢測所獲得易分割圖像的熵圖平均值。

2.如權利要求1所述的一種基于域自適應的幀間圖像語義分割方法，其特征在于，所述帶有語義標簽的城市景觀數據集來自于城市景觀寫實應用的圖像數據庫。

3.如權利要求1所述的一種基于域自適應的幀間圖像語義分割方法，其特征在于，所述S2步驟中，圖像層級的域自適應通過對圖像參數進行調整，使訓練圖像優化為真實世界的視覺風格。

4.如權利要求1所述的一種基于域自適應的幀間圖像語義分割方法，其特征在于，所述S4步驟中，域間自適應訓練是將基于熵的無監督域自適應應用于輸出空間，通過對抗式最小化與域自適應強相關的熵進行的語義分割，其表示為如下公式：

式中，L_seg為有監督分割損失，L_ent為無監督熵損失，（x_s，y_s）為目標渲染圖像，x_t為目標圖像。

5.一種基于域自適應的幀間圖像語義分割系統，其特征在于，以真實世界的城市景觀數據集作為目標圖像，以帶有語義標簽的城市景觀數據集作為訓練圖像，包括：

數據獲取單元，用于獲取預設數量的目標圖像和訓練圖像；

視覺優化單元，用于通過圖像層級的域自適應處理訓練圖像，獲得視覺風格優化后的增強圖像；

圖像渲染單元，用于渲染增強圖像中的目標，并獲得帶有相應語義標簽的目標渲染圖像；

域間優化單元，用于通過最小熵損失函數進行目標渲染圖像與目標圖像之間基于對抗學習的域間自適應訓練；

數據分化單元，用于根據目標圖像的熵圖平均值提取目標圖像中預設域間隙范圍內的圖像作為有監督數據，并提取目標圖像中預設域間隙范圍外的圖像作為無監督數據；

域內優化單元，通過域間自適應訓練后的模型結合有監督數據，與無監督數據進行基于熵的對抗學習，獲取域內自適應后的語義分割模型；

所述數據分化單元中，熵圖平均值表示為如下公式：

式中，R(|X_t|)為熵圖平均值，H、W分別表示目標圖像的長度和寬度，h為上限為H的常數，w為上限為W的常數，為目標圖像在（h，w）處的熵值；

所述預設域間隙范圍由如下公式確認：

式中，λ為預設域間隙范圍，|X_t|為當前幀圖像的熵圖平均值，|X_te|為目標圖像通過YOLO模型檢測所獲得易分割圖像的熵圖平均值。

6.如權利要求5所述的一種基于域自適應的幀間圖像語義分割系統，其特征在于，所述帶有語義標簽的城市景觀數據集來自于城市景觀寫實應用的圖像數據庫。