[發(fā)明專利]一種基于并行特征補全的多階段實例分割方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211580594.9
• 申請日: 2022-12-09
• 公開（公告）號: CN115797635A
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計）人: 王海;朱世林;蔡英鳳;陳龍;李祎承;劉擎超
• 申請（專利權(quán)）人: 江蘇大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/82;G06V10/25;G06V10/42
• 代理公司: 南京智造力知識產(chǎn)權(quán)代理有限公司 32382
• 代理人: 王軍麗

1.一種基于并行特征補全的多階段實例分割方法，其特征在于，包括以下步驟：

S1數(shù)據(jù)預(yù)處理；

S2帶有全局上下文的骨干網(wǎng)絡(luò)特征提取；

S3將特征輸入QueryInst-Parallel Completion網(wǎng)絡(luò)頭部，得到補全的掩碼結(jié)果；

S4并行語義分支特征補全；

S5并行全局分支特征補全；

S6并行特征傳遞，輸出分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于并行特征補全的多階段實例分割方法，其特征在于，所述S1的數(shù)據(jù)預(yù)處理具體如下：

S1.1從本地文件加載數(shù)據(jù)集，

S1.2從本地文件加載標(biāo)簽文件；

S1.3對輸入的圖像和標(biāo)簽調(diào)整大小；

S1.4進行隨機翻轉(zhuǎn)處理；

S1.5進行歸一化和邊界補零處理得到具有三通道的數(shù)字形式的圖像。

3.根據(jù)權(quán)利要求1所述的一種基于并行特征補全的多階段實例分割方法，其特征在于，所述S2具體如下：

將GC Block插入到骨干網(wǎng)絡(luò)，依據(jù)每個查詢位置，捕獲長距離依賴關(guān)系，提取出全局上下文信息，進而將這種信息聚合到每個查詢位置的特征中；

所述GC Block的邏輯框架包括：

(a)對輸入的特征圖進行上下文關(guān)系的建模，以獲取全局上下文特征；

(b)對全局上下文特征進行轉(zhuǎn)換以捕獲通道依賴性關(guān)系；

(c)將具有全局上下文信息的特征與每個對應(yīng)位置的特征進行聚合，使特征更加完整；

所述特征提取的步驟如下：

首先對特征圖進行全局上下文建模，對于特征圖中的查詢位置j，首先通過1x1的卷積獲取j位置關(guān)系權(quán)重，然后進行SoftMax歸一化處理，最后與j位置的特征對應(yīng)相乘再對所有查詢位置進行求和獲取相應(yīng)的全局上下文特征∑_ja^jx^j；

然后進行特征轉(zhuǎn)換δ，為了減小更深層由通道數(shù)增多導(dǎo)致的計算量，將1x1卷積設(shè)置為瓶頸變換，使得卷積后的通道數(shù)為C/r，其中r為瓶頸比率，得到的全局上下文特征具備通道依賴關(guān)系；

最后通過利用廣播機制進行元素位置的相加，獲取完整特征。

4.根據(jù)權(quán)利要求1所述的一種基于并行特征補全的多階段實例分割方法，其特征在于，所述S3具體如下：

將S2得到的特征輸入到QueryInst-Parallel Completion網(wǎng)絡(luò)頭部，同時初始化隨機生成邊界框?qū)μ卣鬟M行RoIAlign處理、并行語義分支處理和并行全局分支處理，得到語義信息和全局信息補全的RoI特征，并且隨機初始化生成對象查詢，經(jīng)過MSA處理得到增強的對象查詢，將增強的對象查詢與RoI特征輸入到邊界框動態(tài)交互模塊得到增強邊界框RoI特征和下一階段的對象查詢，然后將增強邊界框RoI特征輸入到檢測分支得到邊界框信息，之后進入掩碼生成環(huán)節(jié)，依據(jù)生成的邊界框進行正負樣本劃分，依據(jù)損失代價選出損失較小的為正樣本，將正樣本進行RoIAlign處理、并行語義分支處理和并行全局分支處理，得到語義信息和全局信息補全的RoI特征，同時將在檢測部分的邊界框動態(tài)交互后的增強邊界框RoI特征依據(jù)正樣本進行索引，篩選出相應(yīng)的增強邊界框RoI特征輸入到特征傳遞部分，與之后進行掩碼動態(tài)交互得到增強掩碼RoI特征進行對應(yīng)元素求和，實現(xiàn)補全，最后將補全結(jié)果輸入到掩碼分支，得到掩碼結(jié)果。

5.根據(jù)權(quán)利要求1所述的一種基于并行特征補全的多階段實例分割方法，其特征在于，所述S4的實現(xiàn)包括：

將骨干網(wǎng)絡(luò)前兩個階段的特征層作為輸入，分別是階段0和1，首先進行1x1的卷積進行特征轉(zhuǎn)換，使其進一步靠向語義特征，然后stage1輸出結(jié)果經(jīng)過上采樣與stage0結(jié)果進行對齊，經(jīng)過元素對應(yīng)相加得到融合特征；之后將融合特征輸入到金字塔池化模塊，具體的將融合特征層劃分成6x6，3x3，2x2，1x1的網(wǎng)格，每個網(wǎng)格內(nèi)部各自進行平均池化，池化結(jié)果進行上采樣聚合，再經(jīng)過4個3x3卷積和1x1卷積調(diào)整通道以適應(yīng)RoI特征的維度；最后得到的語義特征與RoI特征融合補全，使其具有語義信息。