[發(fā)明專利]圖像分割方法、裝置、設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010194643.X
• 申請日: 2020-03-19
• 公開（公告）號: CN111091576B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設計）人: 胡一凡;李悅翔;魏東;陳嘉偉;曹世磊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04
• 代理公司: 北京三高永信知識產(chǎn)權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種圖像分割方法，其特征在于，所述方法包括：

將包含目標對象的目標圖像以及第一掩膜輸入圖像分割模型，所述圖像分割模型包括多個不同尺度的神經(jīng)網(wǎng)絡以及至少一個注意力單元；

通過所述多個不同尺度的神經(jīng)網(wǎng)絡對所述目標圖像以及所述第一掩膜分別進行數(shù)據(jù)處理，得到尺度不同的多個特征圖以及各個特征圖對應的中間掩膜；

通過所述至少一個注意力單元，對每個所述特征圖中不同區(qū)域的元素應用不同的注意力權重進行加權運算，得到尺度不同的多個中間特征圖；

對每個所述中間特征圖進行特征融合，得到第二掩膜，所述第二掩膜用于預測所述目標對象在所述目標圖像的位置信息；

響應于所述第二掩膜滿足目標條件，基于所述第二掩膜將所述目標圖像中的目標對象分割出來，否則，基于所述第二掩膜對所述第一掩膜進行調(diào)整，由所述圖像分割模型基于調(diào)整后的第一掩膜以及所述目標圖像輸出新的第二掩膜，判斷所述新的第二掩膜是否滿足所述目標條件。

2.根據(jù)權利要求1所述的方法，其特征在于，所述通過所述多個不同尺度的神經(jīng)網(wǎng)絡對所述目標圖像以及所述第一掩膜分別進行數(shù)據(jù)處理，得到尺度不同的多個特征圖以及各個特征圖對應的中間掩膜，包括：

通過所述多個不同尺度的神經(jīng)網(wǎng)絡分別對所述目標圖像進行特征提取，得到尺度不同的多個特征圖；

基于所述多個不同尺度，對所述第一掩膜進行尺度變換，得到所述各個特征圖對應的中間掩膜。

3.根據(jù)權利要求2所述的方法，其特征在于，所述通過所述多個不同尺度的神經(jīng)網(wǎng)絡分別對所述目標圖像進行特征提取，得到尺度不同的多個特征圖，包括：

對于所述多個不同尺度的神經(jīng)網(wǎng)絡中的任一個神經(jīng)網(wǎng)絡，獲取前一個神經(jīng)網(wǎng)絡輸出的第一尺度的特征圖，對所述第一尺度的特征圖進行下采樣，得到第二尺度的特征圖，所述第二尺度小于所述第一尺度；

獲取各個神經(jīng)網(wǎng)絡輸出的特征圖，得到所述尺度不同的多個特征圖。

4.根據(jù)權利要求1所述的方法，其特征在于，所述通過所述至少一個注意力單元，對每個所述特征圖中不同區(qū)域的元素應用不同的注意力權重進行加權運算，得到尺度不同的多個中間特征圖，包括：

對于每個注意力單元，獲取前一個注意力單元輸出的多個不同尺度的加權特征圖，對每個所述加權特征圖中不同區(qū)域的元素應用不同的注意力權重進行加權運算，得到多個不同尺度的加權特征圖；

獲取最后一個注意力單元輸出的多個不同尺度的加權特征圖，作為所述中間特征圖。

5.根據(jù)權利要求4所述的方法，其特征在于，所述對每個所述加權特征圖中不同區(qū)域的元素應用不同的注意力權重進行加權運算，包括：

基于任一加權特征圖以及與所述任一加權特征圖尺度相同的所述中間掩膜，確定所述任一加權特征圖中目標區(qū)域對應的第一權重序列以及背景區(qū)域對應的第二權重序列，所述目標區(qū)域為所述目標對象的所在區(qū)域；

基于所述第一權重序列以及所述第二權重序列，對所述任一加權特征圖中不同區(qū)域的元素進行加權運算。

6.根據(jù)權利要求5所述的方法，其特征在于，所述基于任一加權特征圖以及與所述任一加權特征圖尺度相同的所述中間掩膜，確定所述任一加權特征圖中目標區(qū)域對應的第一權重序列以及背景區(qū)域對應的第二權重序列之后，所述方法還包括：

對所述第一權重序列以及所述第二權重序列進行特征融合；

基于特征融合后的所述第一權重序列以及所述第二權重序列，執(zhí)行對所述任一加權特征圖進行加權運算的步驟。

7.根據(jù)權利要求6所述的方法，其特征在于，所述對所述第一權重序列以及所述第二權重序列進行特征融合，包括：

對所述第一權重序列以及所述第二權重序列進行池化處理，得到中間權重序列；

按照目標比例對所述中間權重序列進行拆分，得到特征融合后的所述第一權重序列以及所述第二權重序列。