[發明專利]基于融合神經網絡的圖像處理及網絡的生成方法和裝置

有效

• 申請號: 201811036021.3
• 申請日: 2018-09-05
• 公開（公告）號: CN110879949B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王哲;丁明宇;戴興;石建萍
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種基于融合神經網絡的圖像處理方法，其特征在于，所述融合神經網絡包括共享網絡層和至少兩個任務網絡層，所述至少兩個任務網絡層對應至少兩類圖像處理任務，所述方法包括：

經所述共享網絡層提取所輸入的圖像的特征，獲得所述圖像的特征；

基于所述至少兩個任務網絡層分別對所述特征進行處理，得到分別對應所述至少兩類圖像處理任務的至少兩個圖像處理結果；

在經所述共享網絡層對待處理圖像提取特征，獲得所述待處理圖像的特征之前，還包括：

利用訓練圖像集包括的至少兩個圖像子集中的第一圖像子集，調整所述共享網絡層和所述至少兩個任務網絡層中第一任務網絡層的參數；

固定所述共享網絡層的參數，利用所述至少兩個圖像子集中的第二圖像子集，調整所述至少兩個任務網絡層中的第二任務網絡層的參數；所述第二圖像子集為所述至少兩個圖像子集中除所述第一圖像子集的其他圖像子集，所述第二任務網絡層為所述至少兩個任務網絡層中除所述第一任務網絡層的其他任務網絡層；

獲得包括訓練后的共享網絡層和至少兩個任務網絡層的所述融合神經網絡；

按照設定比例獲取對應不同類別任務的圖像，得到混合的圖像；利用所述混合的圖像對所述融合神經網絡進行微調；

所述至少兩個任務網絡層包括：至少一個目標檢測網絡層和至少一個語義分割網絡層；

所述至少兩類圖像處理任務包括：目標檢測任務和語義分割任務；

所述至少兩個圖像處理結果包括：對應所述目標檢測任務的至少一個目標檢測處理結果，和對應所述語義分割任務的至少一個語義分割處理結果。

2.根據權利要求1所述的方法，其特征在于，每類所述圖像處理任務對應至少一個所述任務網絡層。

3.根據權利要求1所述的方法，其特征在于，每個所述任務網絡層輸出對應一類圖像處理任務的至少一個圖像處理結果。

4.根據權利要求1所述的方法，其特征在于，所述至少一個目標檢測任務包括以下至少之一：車道線保持，前車碰撞，可行駛區域，車道偏移報警，行人檢測系統；和/或，

所述至少一個語義分割任務包括以下至少之一：交通標志識別，交通信號燈識別和車道線類型識別。

5.根據權利要求1-4任一所述的方法，其特征在于，經所述共享網絡層提取所輸入的圖像的特征之前，還包括：

根據至少兩個任務神經網絡生成所述融合神經網絡。

6.根據權利要求5所述的方法，其特征在于，所述至少兩個任務神經網絡包括第一任務神經網絡和第二任務神經網絡；所述根據至少兩個任務神經網絡生成所述融合神經網絡，包括：

獲取第一任務神經網絡和第二任務神經網絡；

將所述第一任務神經網絡和所述第二任務神經網絡進行淺層網絡層的共享處理；

將共享處理的淺層網絡層作為所述共享網絡層、將所述第一任務神經網絡除所述淺層網絡層之外的其他網絡層以及所述第二任務神經網絡除所述淺層網絡層之外的其他網絡層作為所述至少兩個任務網絡層，生成所述融合神經網絡。

7.根據權利要求1-4任一所述的方法，其特征在于，所述訓練圖像集包括至少兩個圖像子集，每個所述圖像子集中的圖像對應一個圖像處理任務。

8.根據權利要求7所述的方法，其特征在于，所述利用訓練圖像集中的圖像訓練所述融合神經網絡，包括：

分別利用所述至少兩個圖像子集訓練所述融合神經網絡中的共享網絡層和至少兩個任務網絡層，每個所述圖像子集與其所訓練的任務網絡層對應相同的圖像處理任務。

9.根據權利要求8所述的方法，其特征在于，所述獲得訓練后的共享網絡層和至少兩個任務網絡層之后，還包括：

基于所述至少兩個圖像子集中的圖像，獲得對應至少兩個圖像處理任務的融合圖像集；

基于融合圖像集，調整所述訓練后的共享網絡層和至少兩個任務網絡層的參數。