[發明專利]一種融合網絡和雙通道注意力機制的街景圖像分割方法

有效

• 申請號: 202010174544.5
• 申請日: 2020-03-13
• 公開（公告）號: CN111401436B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 付晶瑩;張珣;馬廣馳;江東;郝蒙蒙;王昊
• 申請（專利權）人: 中國科學院地理科學與資源研究所;北京工商大學
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V20/70;G06V10/26;G06V10/82;G06V10/774;G06V10/80;G06N3/0464;G06N3/0455;G06N3/082
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種融合網絡和雙通道注意力機制的街景圖像分割方法，包括訓練階段和測試階段，其特征是：

一、訓練階段：構建基于高分辨率融合網絡和雙通道注意力機制的圖像分割卷積神經網絡模型并訓練模型；包括如下步驟：

1)選取圖像訓練集，包括原始圖像及相應的真實語義分割圖像；并分別將訓練集中的每幅原始街景圖像對應的真實語義分割圖像處理成獨熱編碼圖像；

選取M幅原始的街景圖像及每幅原始的街景圖像對應的真實語義分割圖像，并構成訓練集，將訓練集中的第m幅原始的街景圖像記為{I^m(i,j)}，將訓練集中與{I^m(i,j)}對應的真實語義分割圖像記為M為正整數；M≥100；m為正整數，1≤m≤M；(i,j)為圖像中像素點的坐標位置；1≤i≤W，1≤j≤H，W表示{I^m(i,j)}的寬度，H表示{I^m(i,j)}的高度；I^m(i,j)表示{I^m(i,j)}中坐標位置為(i,j)的像素點的像素值，表示中坐標位置為(i,j)的像素點的像素值；

將訓練集中的每幅原始街景圖像對應的真實語義分割圖像處理成多幅獨熱編碼圖像，構成的集合記為

2)構建基于高分辨率融合網絡和雙通道注意力機制的圖像分割卷積神經網絡模型并訓練：

基于高分辨率融合網絡和雙通道注意力機制的圖像分割卷積神經網絡模型包括輸入層、隱層和輸出層；隱層包括以密集采樣方式堆疊的四個擴張卷積塊、高分辨率融合網絡和雙通道注意力機制；

2A)輸入層用于接收原始輸入圖像的R、G、B三通道分量并輸出給隱層；

輸入層的輸入端接收一幅寬度為W，高度為H的原始輸入圖像的R、G、B三通道分量，輸入層的輸出端輸出原始輸入圖像的R、G、B三通道分量給隱層；

2B)通過隱層中的以密集連接方式堆疊的四個擴張卷積塊按序生成多幅特征圖；

隱層中的密集連接方式堆疊的四個擴張卷積塊中，每個擴張卷積塊由帶有BN層、Relu層和擴張卷積層構成；

第1個擴張卷積塊輸入端接收輸入層的輸出端輸出的原始輸入圖像的R通道分量、G通道分量和B通道分量，擴張率為3，輸出端輸出32幅特征圖，將32幅特征圖構成的集合記為R₁；

第2個擴張卷積塊輸入端接收輸入層的輸出端輸出的原始輸入圖像的所有通道分量和R₁，擴張率為6，輸出端輸出64幅特征圖，將64幅特征圖構成的集合記為R₂；

第3個擴張卷積塊輸入端接收輸入層的輸出端輸出的原始輸入圖像的所有通道分量、R₁和R₂，擴張率為12，輸出端輸出128幅特征圖，將128幅特征圖構成的集合記為R₃；

第4個擴張卷積塊輸入端接收輸入層的輸出端輸出的原始輸入圖像的所有通道分量、R₁、R₂和R₃，擴張率為18，輸出端輸出64幅特征圖，將64幅特征圖構成的集合記為R₄；其中，R₄中每幅特征圖的寬度為W，高度為H；

2C)通過三個階段構建隱層中的高分辨率融合網絡：

利用殘差網絡中的殘差基本塊作為網絡搭建的基本塊；每個階段均比前一階段多增加一條輸入分支，即多獲得一種分辨率的特征圖層；每個階段之間進行分辨率特征圖層的相互融合，在空間上保留原始圖像更多的特征信息；具體包括：

第一階段生成兩個并行網絡S₁和S₂：

S₁由3個殘差基本塊串聯構成；每個殘差基本塊的輸入特征層與輸出特征層的寬和高一致，S₁輸入端接收R₄中所有的特征圖，S₁的輸出端輸出36幅特征圖，將36幅特征圖構成的集合記為R₆，其中，R₆中的每幅特征圖的寬度為W，高度為H；R₄集合所有特征層通過卷積得到64幅特征層集合R₅，其中，R₅中的每幅特征圖的寬度為W/2，高度為H/2；

S₂由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₂輸入端接收R₅中所有的特征圖，S₂輸出端輸出36幅特征圖，將36幅特征圖集合記為R₇，其中，R₇中的每幅特征圖的寬度為W/2，高度為H/2；R₆特征集合通過下采樣得到寬度為W/2、高度為H/2的36幅特征圖層集合R₈；通過下采樣得到寬度為W/4、H/4的36幅特征圖層集合R₉；R₇特征圖層集合通過上采樣得到寬度為W、高度為H的36幅特征圖層集合R₁₀；通過下采樣得到寬度為W/4、H/4的36幅特征圖層集合R₁₁；

第二階段生成三個并行網絡S₃、S₄和S₅：

S₃由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₃輸入端接收R₆與R₁₀中所有的特征圖，S₃的輸出端輸出72幅特征圖，將72幅特征圖構成的集合記為R₁₂，其中，R₁₂中的每幅特征圖的寬度為W，高度為H；

S₄由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₄輸入端接收R₇與R₈中所有的特征圖，S₄的輸出端輸出72幅特征圖，將72幅特征圖構成的集合記為R₁₃，其中，R₁₃中的每幅特征圖的寬度為W/2，高度為H/2；

S₅由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₅輸入端接收R₉與R₁₁中所有的特征圖，S₅的輸出端輸出72幅特征圖構成的集合記為R₁₄，其中，R₁₄中的每幅特征圖的寬度為W/4，高度為H/4；

在S₃、S₄和S₅的輸出端，R₁₂特征集合通過下采樣得到寬度為W/2、H/2的72幅特征圖層集合R₁₅；通過下采樣得到寬度為W/4、H/4的72幅特征圖層集合R₁₆；通過下采樣得到寬度為W/8、H/8的72幅特征圖層集合R₁₇；R₁₃特征集合通過上采樣得到寬度為W、H的72幅特征圖層集合R₁₈；通過下采樣得到寬度為W/4、H/4的72幅特征圖層集合R₁₉；通過下采樣得到寬度為W/8、H/8的72幅特征圖層集合R₂₀；R₁₄特征集合通過上采樣得到寬度為W、H的72幅特征圖層集合R₂₁；通過上采樣得到寬度為W/2、H/2的72幅特征圖層集合R₂₂；通過下采樣得到寬度為W/8、H/8的72幅特征圖層集合R₂₃；

第三階段生成四個并行網絡S₆、S₇、S₈和S₉，其中：

S₆由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₆輸入端接收R₁₂、R₁₈與R₂₁中所有的特征圖，S₆的輸出端輸出144幅特征圖，將144幅特征圖構成的集合記為R₂₄，其中，R₂₄中的每幅特征圖的寬度為W，高度為H；

S₇由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₇輸入端接收R₁₃、R₁₅與R₂₂中所有的特征圖，S₇的輸出端輸出144幅特征圖，將144幅特征圖構成的集合記為R₂₅，其中，R₂₅中的每幅特征圖的寬度為W/2，高度為H/2；

S₈由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₈輸入端接收R₁₄、R₁₆與R₁₉中所有的特征圖，S₈的輸出端輸出144幅特征圖，將144幅特征圖構成的集合記為R₂₆，其中，R₂₆中的每幅特征圖的寬度為W/4，高度為H/4；

S₉由3個殘差基本塊串聯構成，每個殘差基本塊的輸入特征層與輸出特征層寬高一致，S₉輸入端接收R₁₇、R₂₀與R₂₃中所有的特征圖，S₉的輸出端輸出144幅特征圖，將144幅特征圖構成的集合記為R₂₇，其中，R₂₇中的每幅特征圖的寬度為W/8，高度為H/8；R₂₅特征集合通過上采樣得到寬度為W、H的144幅特征圖層集合R₂₈；R₂₆特征集合通過上采樣得到寬度為W、H的144幅特征圖層集合R₂₉；R₂₇特征集合通過上采樣得到寬度為W、H的144幅特征圖層集合R₃₀；

2D)由位置注意力機制與通道注意力機制兩個并行注意力機制網絡構成隱層的雙通道注意力機制；具體為：

2D1)將特征圖集合R₂₄、R₂₈、R₂₉和R₃₀合并為新的特征圖集合R₃₁，將特征圖集合R₃₁經過一個帶有BN層和Relu層的1×1卷積層，輸出一個寬度為W，高度為H的36幅特征圖集合R₃₂；

2D2)位置注意力機制網絡輸入端的輸入為表示通道數為36，寬度為W，高度為H的特征圖集合；通過帶有BN層和ReLU層的卷積操作，得到兩個新的特征C、D，其中{C,D}∈R^36×H×W；

2D3)將特征C、D重新定義形狀為R^36×N，其中N＝H×W；在特征C和D的轉置矩陣上應用矩陣乘法，再應用softmax層計算位置映射圖S∈R^N×N；

2D4)同時將特征圖集合輸入到一個帶有BN層和ReLU層的卷積層，產生另一個特征圖集合重新定義形狀為R^36×N；

2D5)然后對D和S的轉置矩陣應用矩陣乘法，重新定義形狀為然后乘上因子α，α是可隨網絡自動調節的參數；與特征A進行逐元素的相加操作，得到最終的輸出2D6)通道注意力機制網絡輸入端的輸入將進行reshape操作生成特征圖集合然后在與的轉置上應用矩陣乘法，再應用softmax層獲得通道注意力圖

2D7)之后對X的轉置和進行一次矩陣乘法，然后reshape到R^36×H×W，再乘上因子β，與原始特征A進行逐元素的加和操作，得到最終的特征圖G∈R^36×H×W；

2D8)將2D5)的特征圖集合F和步驟2D7)的特征圖集合G合并，然后通過帶有BN層和Relu層的1×1卷積層之后，即得到新的特征圖集合R₃₆；

2D9)輸出層由1個卷積層組成；輸出層的輸入端接收新特征圖集合R₃₆，輸出層的輸出端輸出與原始輸入圖像對應的語義分割預測圖；其中，每幅語義分割預測圖的寬度為W、高度為H；

2E)將訓練集中的每幅原始的街景圖像作為原始輸入圖像，輸入到步驟2)構建的卷積神經網絡模型中進行訓練，得到訓練集中的每幅原始的街景圖像對應的多幅語義分割預測圖，將每幅原始的街景圖像{I^m(i,j)}對應的語義分割預測圖構成的集合記為

2F)計算訓練集中的每幅原始的街景圖像對應的多幅語義分割預測圖構成的集合與對應的真實語義分割圖像處理成的獨熱編碼圖像集合之間的損失函數值，將與之間的損失函數值記為

2G)重復執行步驟2E)和步驟2F)共N次，得到卷積神經網絡分類訓練模型，并共得到M×N個損失函數值；然后從M×N個損失函數值中找出值最小的損失函數值；其中，N＞1；接著將值最小的損失函數值對應的權值矢量和偏置項作為卷積神經網絡分類訓練模型對應的最優權值矢量和最優偏置項，對應記為W^best和b^best；即完成卷積神經網絡分類模型的訓練，得到訓練好的基于高分辨率融合網絡和雙通道注意力機制的圖像分割卷積神經網絡模型；

二、測試階段，包括如下步驟：

3A)令表示待語義分割的道路場景圖像；其中，1≤i'≤W'，1≤j'≤H'，W'表示的寬度，H'表示的高度，表示中坐標位置為(i,j)的像素點的像素值；

3B)將的R通道分量、G通道分量和B通道分量輸入到訓練好的卷積神經網絡分類模型中，利用W^best和b^best進行預測，得到對應的預測語義分割圖像，記為其中，表示中坐標位置為(i',j')的像素點的像素值；

通過上述步驟，即實現基于高分辨率融合網絡和雙通道注意力機制的圖像語義分割。