[發明專利]基于融合神經網絡的圖像處理及網絡的生成方法和裝置

有效

• 申請號: 201811036021.3
• 申請日: 2018-09-05
• 公開（公告）號: CN110879949B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王哲;丁明宇;戴興;石建萍
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本申請實施例公開了一種基于融合神經網絡的圖像處理及網絡的生成方法和裝置，所述融合神經網絡包括共享網絡層和至少兩個任務網絡層，所述至少兩個任務網絡層對應至少兩類圖像處理任務，其中基于融合神經網絡的圖像處理方法包括：經所述共享網絡層提取所輸入的圖像的特征，獲得所述圖像的特征；基于所述至少兩個任務網絡層分別對所述特征進行處理，得到分別對應所述至少兩類圖像處理任務的至少兩個圖像處理結果。基于本申請上述實施例，實現了同時處理至少兩類的圖像處理任務，并提高了圖像處理任務的處理速度。

技術領域

本申請涉及計算機視覺技術，尤其是一種基于融合神經網絡的圖像處理及網絡的生成方法和裝置。

背景技術

圖像處理技術在很多領域得到應用，例如：高級駕駛輔助系統(ADAS)是利用安裝在車上的各式各樣傳感器，在汽車行駛過程中隨時來感應周圍的環境，收集數據，進行靜態、動態物體的辨識、偵測與追蹤，并結合導航儀地圖數據，進行系統的運算與分析，從而預先讓駕駛者察覺到可能發生的危險，有效增加汽車駕駛的舒適性和安全性。當圖像處理技術應用到ADAS系統時，需要處理包括車輛檢測、行人檢測、交通標志識別、車道線檢測等多種任務。

發明內容

本申請實施例提供了一種基于融合神經網絡的圖像處理及融合神經網絡的生成技術。

根據本申請實施例的一個方面，提供的一種基于融合神經網絡的圖像處理方法，所述融合神經網絡包括共享網絡層和至少兩個任務網絡層，所述至少兩個任務網絡層對應至少兩類圖像處理任務，所述方法包括：

經所述共享網絡層提取所輸入的圖像的特征，獲得所述圖像的特征；

基于所述至少兩個任務網絡層分別對所述特征進行處理，得到分別對應所述至少兩類圖像處理任務的至少兩個圖像處理結果。

可選地，在本發明上述任一方法實施例中，每類所述圖像處理任務對應至少一個所述任務網絡層。

可選地，在本發明上述任一方法實施例中，每個所述任務網絡層輸出對應一類圖像處理任務的至少一個圖像處理結果。

可選地，在本發明上述任一方法實施例中，所述至少兩個任務網絡層包括：至少一個目標檢測網絡層和至少一個語義分割網絡層；

所述至少兩類圖像處理任務包括：目標檢測任務和語義分割任務；

所述至少兩個圖像處理結果包括：對應所述目標檢測任務的至少一個目標檢測處理結果，和對應所述語義分割任務的至少一個語義分割處理結果。

可選地，在本發明上述任一方法實施例中，所述至少一個目標檢測任務包括以下至少之一：車道線保持，前車碰撞，可行駛區域，車道偏移報警，行人檢測系統；和/或，

所述至少一個語義分割任務包括以下至少之一：交通標志識別，交通信號燈識別和車道線類型識別。

可選地，在本發明上述任一方法實施例中，經所述共享網絡層提取所輸入的圖像的特征之前，還包括：

根據至少兩個任務神經網絡生成所述融合神經網絡。

可選地，在本發明上述任一方法實施例中，所述至少兩個任務神經網絡包括第一任務神經網絡和第二任務神經網絡；所述根據至少兩個任務神經網絡生成所述融合神經網絡，包括：

獲取第一任務神經網絡和第二任務神經網絡；

將所述第一任務神經網絡和所述第二任務神經網絡進行淺層網絡層的共享處理；

將共享處理的淺層網絡層作為所述共享網絡層、將所述第一任務神經網絡除所述淺層網絡層之外的其他網絡層以及所述第二任務神經網絡除所述淺層網絡層之外的其他網絡層作為所述至少兩個任務網絡層，生成所述融合神經網絡。