[發(fā)明專利]一種結合自監(jiān)督和全局信息增強的實例分割方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210582668.6
• 申請日: 2022-05-26
• 公開（公告）號: CN115019039A
• 公開（公告）日: 2022-09-06
• 發(fā)明（設計）人: 高榕;沈加偉;邵雄凱
• 申請（專利權）人: 湖北工業(yè)大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06N3/04;G06N3/08;G06V10/764;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 武漢華強專利代理事務所(普通合伙) 42237
• 代理人: 王冬冬

本發(fā)明公開了一種結合自監(jiān)督和全局信息增強的實例分割方法及系統(tǒng)，其中的構建方法首先通過基于ResNet網絡和FPN模塊的特征提取網絡來得到特征金字塔以及進行特征圖融合；然后采用基于Fastformer的全局信息增強網絡來對特征圖進行像素之間的交互關系進行建模，提取全局信息；接著通過預測網絡進行實例分割，其中，類別預測網絡用于對感興趣的實例進行多標簽分類，掩碼預測網絡用于對實例所在區(qū)域進行像素值分類，生成實例掩碼；此外還加入了一個自監(jiān)督學習網絡，用于對圖中實例之間進行對比學習，加強模型對圖片的理解能力以增強泛化性。本發(fā)明的方法能夠解決對遮擋以及不完整物體檢測性能不高的問題，同時加強模型的泛化能力，提高在噪聲較多的場景中的分割性能。

技術領域

本發(fā)明涉及人工智能和計算機視覺技術領域，更具體地，涉及一種結合自監(jiān)督和全局信息增強的實例分割方法及系統(tǒng)。

背景技術

實例分割是計算機視覺領域中一項相對于目標檢測更具有挑戰(zhàn)性的任務，包含了目標檢測和語義分割的工作。它首先將圖像中感興趣的物體進行定位和分類操作，然后對于實例進行語義分割分離出前景和背景。隨著智能駕駛和醫(yī)學圖像分割等技術的高速發(fā)展，實例分割算法的性能和實時性也被提出了更高的要求。但是傳統(tǒng)的自上而下的基于目標檢測的實例分割方法及系統(tǒng)和自下而上的基于語義分割的方法在實時性和性能上仍然難以達到目前智能駕駛等領域對于實例分割算法的要求。

如何增強實例分割算法的性能，縮短前向推理時間就具有重大意義。近年來，一些優(yōu)秀的單階段實例分割算法被提出，緩解了這些問題，達到了較為理想的效果。盡管如此，這些算法仍存在著一些缺陷：基于卷積的特征提取網絡在信息提取的時候缺乏全局信息，導致對于不完整或有遮擋的物體的檢測效果較差；此外，有監(jiān)督的訓練方式導致訓練出來的模型泛化能力較差，對于噪聲較大的場景便難以發(fā)揮出算法的性能。

發(fā)明內容

針對現有技術的缺陷，本發(fā)明的目的是提供一種結合自監(jiān)督和全局信息增強的實例分割方法及系統(tǒng)，旨在解決現有實例分割方法及系統(tǒng)存在特征提取階段缺乏全局信息，且泛化能力較差，對于噪聲較大場景分割效果差的問題。

為實現上述目的，本發(fā)明提供了一種結合自監(jiān)督和全局信息增強的實例分割方法及系統(tǒng)，包括：

步驟S1：建立實例分割模型；

所述實例分割模型包括特征提取網絡、全局信息增強網絡、自監(jiān)督學習網絡、類別預測網絡和掩碼預測網絡；

所述特征提取網絡包括ResNet網絡和FPN網絡，ResNet用于通過疊加多個卷積層、Relu層和normalization層以及殘差連接，得到圖片金字塔。FPN用于結合特征金字塔中上層特征圖豐富的語義信息和下層特征圖精確的位置信息，進行特征融合；

所述全局信息增強網絡由Fastformer模塊構成，用于對特征圖中每一像素點之間的交互關系進行建模，提取上下文信息，增強特征圖的全局信息；

所述自監(jiān)督學習網絡，用于對圖片中的實例進行對比學習，加強對圖片的理解能力，增強模型泛化能力；

所述類別預測網絡，用于對感興趣的實例進行多標簽分類，得到每一實例的對應類別；

所述掩碼預測網絡，用于對選取的實例區(qū)域中的像素點進行二分類，區(qū)分前景和背景，生成實例的掩碼。

步驟S2：實例分割模型訓練；

輸入選取的訓練數據集，包括圖片數據和對應的標簽文件。首先提取特征圖，再進行特征圖融合。然后增強全局信息，輸入到預測網絡進行預測，與標簽文件比對得出損失函數，通過損失函數進行反向傳播，引導模型訓練方向。

步驟S3：實例分割

將圖片分成S×S個網絡，每個網格負責預測中心點落在該位置的實例。即以該網格為中心，預測對應實例的類別和掩碼。