[發明專利]一種圖像語義分割方法、電子設備和可讀存儲介質

有效

• 申請號: 201910684190.6
• 申請日: 2019-07-26
• 公開（公告）號: CN110428428B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 陳沅濤;陶家俊;王進;王磊;張建明;陳曦;鄺利丹;谷科;劉林武;王志
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 趙琴娜

1.一種圖像語義分割方法，其特征在于，包括：

通過高斯函數對原始圖像進行預處理生成若干層不同分辨率的圖像，形成圖像金字塔；

將所述圖像金字塔輸入訓練好的全卷積網絡模型中，所述全卷積網絡模型由與所述圖像金字塔層數同數量的全卷積VGG16模型并聯構建，并在后端設有轉置卷積層，每一所述全卷積VGG16模型的第11至14個卷積層為空洞卷積，所述圖像金字塔的每一層分別輸入一個所述全卷積VGG16模型，對于相鄰的兩層全卷積VGG16模型，上層的輸出特征均與下層第5個最大池化層的輸出特征融合，然后依次輸入該下層的后續卷積層，得到該下層的輸出特征，如此自頂向下逐層融合至底層，底層的輸出特征輸入所述轉置卷積層，得到跟原始圖像等尺寸的得分圖；

將所述得分圖送入訓練好的全連接條件隨機場，聯合圖像中各像素的空間位置信息和顏色向量信息進行優化處理，獲取語義分割效果。

2.根據權利要求1所述的圖像語義分割方法，其特征在于，所述全卷積網絡模型訓練中，利用與圖像金字塔中各層圖像等分辨率的理想分割圖標簽來監督每一層提取的輸出特征，改進損失函數。

3.根據權利要求1所述的圖像語義分割方法，其特征在于：

每一所述全卷積VGG16模型的第11至14個卷積層的擴張率依次為2、4、8、16，前三個最大池化層步幅為2，后兩個最大池化層步幅為1，所述轉置卷積層步幅為8。

4.根據權利要求3所述的圖像語義分割方法，其特征在于，特征融合策略如下：

對于相鄰的兩層全卷積VGG16模型，利用雙線性插值法對上層的輸出特征進行步幅為2的空間上采樣，再輸入擴張率為2的3×3空洞卷積操作，所得特征與下層第5個最大池化層的輸出特征進行串聯拼接，然后依次輸入該下層的后續卷積層，得到該下層的輸出特征。

5.根據權利要求1所述的圖像語義分割方法，其特征在于，全連接條件隨機場的建模過程如下：

根據像素i和像素j的顏色向量I_i和I_j以及空間位置p_i和p_j定義兩個核函數k_c和k_p分別為：

得到雙核勢函數為：

k(f_i,f_j)＝w⁽¹⁾k_c+w⁽²⁾k_p

式中，w⁽¹⁾為k_c核函數項的權重，w⁽²⁾為k_p核函數項的權重，θ_α、θ_β和θ_γ均為超參數；

利用高維濾波算法對k_c、k_p和k(f_i,f_j)中的參數進行交叉驗證，直至模型收斂。

6.一種電子設備，其特征在于，包括至少一個處理器，以及與所述至少一個處理器通信連接的至少一個存儲器；

所述至少一個存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1-5任一項所述的圖像語義分割方法。

7.一種可讀存儲介質，其上存儲有計算機程序，其特征在于，當所述計算機程序被處理執行時，實現如權利要求1-5中任一項所述的圖像語義分割方法。