[發(fā)明專利]復雜環(huán)境下的多模態(tài)特征融合道路場景語義分割方法

在審

• 申請?zhí)枺?/td>: 202110025132.X
• 申請日: 2021-01-08
• 公開（公告）號: CN112733934A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 周武杰;劉文宇;雷景生;萬健;甘興利;錢小鴻;許彩娥;黃杰
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種復雜環(huán)境下的多模態(tài)特征融合道路場景語義分割方法，其特征在于：包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟1_1：選取Q幅原始的道路場景圖像、熱圖像和對應的分割標簽圖像構成訓練集，將訓練集中的第k幅原始的道路場景圖像記為熱圖像記為對應的分割標簽圖像記為

步驟1_2：構建卷積神經網絡：

步驟1_3：將訓練集中的原始道路場景的各幅道路場景圖像及其對應的熱圖像輸入到卷積神經網絡中進行訓練得到語義分割結果圖，將訓練完成得到的所有道路場景圖像對應獲得的語義分割結果圖構成的集合記為

步驟1_4：計算訓練得到的的語義分割結果圖構成的集合與所有道路場景圖像對應的分割標簽圖像構成的集合之間的損失函數(shù)值，記為

步驟1_5：重復執(zhí)行步驟1_3和步驟1_4進行N次，得到卷積神經網絡分類訓練模型，并共得到Q×N個損失函數(shù)值；然后從Q×N個損失函數(shù)值中找出值最小的損失函數(shù)值，將最小的損失函數(shù)值對應的權值矢量和偏置項對應作為卷積神經網絡分類訓練模型的最優(yōu)權值矢量W^best和最優(yōu)偏置項B^best；

所述的測試階段過程的具體步驟為：

將待分割的原始道路場景圖像的R通道分量、G通道分量和B通道分量輸入到卷積神經網絡訓練模型中，并利用最優(yōu)權值矢量W^best和最優(yōu)偏置項B^best進行預測，得到待分割的原始道路場景圖像的顯著性檢測圖像顯著性檢測圖像中具有道路場景的分割結果。

2.根據權利要求1所述的一種復雜環(huán)境下的多模態(tài)特征融合道路場景語義分割方法，其特征在于：所述的熱圖像采用獨熱編碼處理成與道路場景圖像一樣具有三通道的圖像。

3.根據權利要求1所述的一種復雜環(huán)境下的多模態(tài)特征融合道路場景語義分割方法，其特征在于：

所述測試階段過程中，所述的待分割的原始道路場景圖像包含了待分割的道路場景圖像和對應的熱圖像；其中，1≤x'≤W'，1≤y'≤H'，W'表示待分割的原始道路場景圖像的寬度，H'表示待分割的原始道路場景圖像的高度，S(x',y')表示待分割的原始道路場景圖像中坐標位置為(x',y')的像素點的像素值。

4.根據權利要求1所述的一種復雜環(huán)境下的多模態(tài)特征融合道路場景語義分割方法，其特征在于：所述的卷積神經網絡包括輸入層、隱層和輸出層；

其中隱層包括依次設置的第1個神經網絡塊、第2個神經網絡塊、第3個神經網絡塊、第4個神經網絡塊、第5個神經網絡塊、第6個神經網絡塊、第7個神經網絡塊、第8個神經網絡塊、第9個神經網絡塊、第10個神經網絡塊、FFM特征融合模塊、第1過渡卷積層、第2過渡卷積層、第1個解碼塊、第2個解碼塊和第3個解碼塊；隱層中，路場景圖像和熱圖像分別輸入到第6個神經網絡塊和第1個神經網絡塊，第6個神經網絡塊、第7個神經網絡塊、第8個神經網絡塊、第9個神經網絡塊、第10個神經網絡塊依次連接，第1個神經網絡塊、第2個神經網絡塊、第3個神經網絡塊、第4個神經網絡塊、第5個神經網絡塊依次連接，第1個神經網絡塊的輸出和第6個神經網絡塊的輸出進行相加操作后輸入到第7個神經網絡塊，第2個神經網絡塊的輸出和第7個神經網絡塊的輸出進行相加操作后輸入到第8個神經網絡塊，第3個神經網絡塊的輸出和第8個神經網絡塊的輸出進行相加操作后輸入到第9個神經網絡塊，第4個神經網絡塊的輸出和第9個神經網絡塊的輸出進行相加操作后輸入到第10個神經網絡塊；第10個神經網絡塊依次連接和第5個神經網絡塊的輸出經加合塊進行相加操作后再與第8個神經網絡塊、第9個神經網絡塊的輸出共同輸入到FFM特征融合模塊，F(xiàn)FM特征融合模塊的輸出輸入到第1個解碼塊，第1 個解碼塊、第2個解碼塊和第3個解碼塊依次連接，第6個神經網絡塊的輸出經第2過渡卷積層輸入到第3個解碼塊，第7個神經網絡塊的輸出經第1過渡卷積層輸入到第2個解碼塊，由第3個解碼塊的輸出作為隱層的輸出。