[發(fā)明專利]一種基于先驗結(jié)構(gòu)的語義分割方法及裝置

在審

• 申請?zhí)枺?/td>: 202210290056.X
• 申請日: 2022-03-23
• 公開（公告）號: CN114882212A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設計）人: 林方堅;梁展豪;何軍軍;鄭淼;田生偉;陳愷
• 申請（專利權(quán)）人: 上海人工智能創(chuàng)新中心
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/42;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 成丹;耿慧敏

1.一種基于先驗結(jié)構(gòu)的語義分割方法，其特征在于，所述方法包括：

獲取待分割圖像，并提取所述待分割圖像的特征圖；

獲取隨機生成的可學習的結(jié)構(gòu)令牌；

將所述特征圖和所述結(jié)構(gòu)令牌輸入至少一層交互結(jié)構(gòu)，輸出交互后結(jié)構(gòu)令牌；所述交互結(jié)構(gòu)用于從所述特征圖中提取結(jié)構(gòu)特征賦予所述結(jié)構(gòu)令牌；

將所述交互后結(jié)構(gòu)令牌輸入卷積塊，得到所述待分割圖像的分割圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述交互結(jié)構(gòu)包括交互模塊，所述交互模塊采用跨面提取模塊、自面提取模塊、點式提取模塊其中一種。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述交互模塊采用所述跨面提取模塊；

將所述特征圖和所述結(jié)構(gòu)令牌輸入至少一層交互結(jié)構(gòu)，輸出交互后結(jié)構(gòu)令牌，包括：

將所述特征圖通過映射網(wǎng)絡，生成第一鍵值矩陣和第一值矩陣；

將所述結(jié)構(gòu)令牌通過所述映射網(wǎng)絡，生成第一查詢矩陣；

將所述第一查詢矩陣和所述第一鍵值矩陣相乘，得到對應每個通道的第一相似度矩陣；

將所述第一相似度矩陣和所述第一值矩陣相乘，得到第一融合特征圖；

將所述第一融合特征圖分裂，得到交互后特征圖和所述交互后結(jié)構(gòu)令牌。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述交互模塊采用所述自面提取模塊；

將所述特征圖和所述結(jié)構(gòu)令牌輸入至少一層交互結(jié)構(gòu)，輸出交互后結(jié)構(gòu)令牌，包括：

將所述特征圖和所述結(jié)構(gòu)令牌在通道維度上進行結(jié)合，得到第一結(jié)合后特征；

將所述第一結(jié)合后特征通過映射網(wǎng)絡，得到第二第一鍵值矩陣、第二值矩陣和第二查詢矩陣；其中，將所述映射網(wǎng)絡的通道數(shù)設置為所述特征圖通道數(shù)的3倍；

將所述第二查詢矩陣和所述第二鍵值矩陣相乘，得到第二相似度矩陣；

將所述第二相似度矩陣和所述第二值矩陣相乘，得到第二融合特征圖；

將所述第二融合特征圖分裂，得到交互后特征圖和所述交互后結(jié)構(gòu)令牌。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述交互模塊采用所述點式提取模塊；

將所述特征圖和所述結(jié)構(gòu)令牌輸入至少一層交互結(jié)構(gòu)，輸出交互后結(jié)構(gòu)令牌，包括：

將所述特征圖和所述結(jié)構(gòu)令牌在通道維度上進行結(jié)合，得到第二結(jié)合后特征；

將所述第二結(jié)合后特征通過映射網(wǎng)絡，得到映射矩陣；其中，將所述映射網(wǎng)絡的通道數(shù)設置為所述特征圖通道數(shù)的1倍；

所述映射矩陣通過1x1的卷積層，得到卷積后特征圖；

將所述卷積后特征圖分裂，得到交互后特征圖和所述交互后結(jié)構(gòu)令牌。

6.根據(jù)權(quán)利要求3-5任一項所述的方法，其特征在于，所述映射網(wǎng)絡依次包括：一層1x1的卷積層、一層3x3的深度可分離的卷積層和一層1x1的卷積層。

7.根據(jù)權(quán)利要求2-5任一項所述的方法，其特征在于，所述交互結(jié)構(gòu)還包括前饋網(wǎng)絡，所述前饋網(wǎng)絡用于對所述交互模塊輸出的特征進行微調(diào)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，

若將所述特征圖和所述結(jié)構(gòu)令牌輸入一層所述交互結(jié)構(gòu)，則所述交互結(jié)構(gòu)還包括一個所述前饋網(wǎng)絡；所述前饋網(wǎng)絡用于對所述交互模塊輸出的交互后結(jié)構(gòu)令牌進行微調(diào)；

若將所述特征圖和所述結(jié)構(gòu)令牌輸入至少兩層所述交互結(jié)構(gòu)，則最后一層所述交互結(jié)構(gòu)包括一個所述前饋網(wǎng)絡，其他層所述交互結(jié)構(gòu)包括兩個所述前饋網(wǎng)絡；最后一層所述交互結(jié)構(gòu)的一個所述前饋網(wǎng)絡用于對所述交互模塊輸出的所述交互后結(jié)構(gòu)令牌進行微調(diào)；其他層所述交互結(jié)構(gòu)的兩個所述前饋網(wǎng)絡分別對所述交互模塊輸出的所述交互后特征圖和所述交互后結(jié)構(gòu)令牌進行微調(diào)。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述前饋網(wǎng)絡依次包括：一層1x1卷積層、一層3x3的組卷積層和一層1x1的卷積層。

10.一種基于先驗結(jié)構(gòu)的語義分割裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取待分割圖像，并提取所述待分割圖像的特征圖；

第二獲取模塊，用于獲取隨機生成的可學習的結(jié)構(gòu)令牌；

特征交互模塊，用于將所述特征圖和所述結(jié)構(gòu)令牌輸入至少一層交互結(jié)構(gòu)，輸出交互后結(jié)構(gòu)令牌；所述交互結(jié)構(gòu)用于從所述特征圖中提取結(jié)構(gòu)特征賦予所述結(jié)構(gòu)令牌；

處理模塊，用于將所述交互后結(jié)構(gòu)令牌輸入卷積塊，得到所述待分割圖像的分割圖。