[發(fā)明專利]圖像分割方法、裝置、設(shè)備、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011369633.1
• 申請日: 2020-11-30
• 公開（公告）號: CN112183507B
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 劉武;梅濤;周伯文
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 劉星雨;張穎玲

1.一種圖像分割方法，其特征在于，所述方法包括：

編碼器對獲取的待處理圖像進行編碼處理，得到多層第一特征圖，所述多層第一特征圖包含不同尺度的第一特征；所述編碼器包括順序連接的至少兩個編碼層，每一所述編碼層輸出一層第一特征圖，每一所述編碼層的輸入包括前層的輸出結(jié)果或所述待處理圖像；

解碼器的每一解碼層執(zhí)行如下步驟：

對本層的前一層的處理結(jié)果進行上采樣，得到上采樣特征圖；

將上采樣特征圖和匹配的第一特征圖進行特征拼接，得到拼接后的特征圖；

從所述拼接后的特征圖中采樣出多個第二特征和每一所述第二特征對應的參考特征集合；

利用多頭注意力機制，確定每一所述第二特征和對應參考特征集合中每一參考特征在內(nèi)容上和空間上的綜合相關(guān)度；

將與每一所述第二特征的綜合相關(guān)度最高的參考特征，確定為與對應第二特征匹配的目標參考特征；

將每一所述第二特征和對應的目標參考特征進行融合處理，得到對應的第二更新特征；

根據(jù)每一所述第二更新特征，得到本層解碼層的處理結(jié)果；

其中，所述解碼器的末層解碼層的處理結(jié)果為融合特征圖；其中，所述多頭注意力機制采用內(nèi)容注意力算子和空間注意力算子來實現(xiàn)的；其中，所述解碼器包括順序連接的至少兩個解碼層，每一所述解碼層采用所述內(nèi)容注意力算子和所述空間注意力算子來實現(xiàn)的，每一所述解碼層的輸入包括前層的輸出結(jié)果和尺度相一致的第一特征圖；

分類器對所述融合特征圖進行逐像素分類，得到所述待處理圖像的圖像分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用多頭注意力機制，確定每一所述第二特征和對應參考特征集合中每一參考特征在內(nèi)容上和空間上的綜合相關(guān)度，包括：

對每一所述第二特征和每一所述參考特征作為待匹配對；

針對每一待匹配對，執(zhí)行以下步驟：

利用內(nèi)容注意力算子，確定所述第二特征和所述參考特征在內(nèi)容上的第一相關(guān)度；

根據(jù)所述第一相關(guān)度，確定所述參考特征的第一權(quán)重；

利用幾何注意力算子，確定所述參考特征的第二權(quán)重；

根據(jù)所述第一權(quán)重和所述第二權(quán)重，確定所述參考特征的綜合權(quán)重；

根據(jù)所述綜合權(quán)重，確定所述第二特征和所述參考特征在內(nèi)容上和空間上的綜合相關(guān)度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用內(nèi)容注意力算子，確定所述第二特征和所述參考特征在內(nèi)容上的第一相關(guān)度，包括：

利用內(nèi)容注意力算子，確定所述第二特征對應的第一特征向量和所述參考特征對應的第二特征向量；

確定所述第一特征向量和所述第二特征向量之間的點積；

根據(jù)所述點積，確定所述第一特征向量和所述第二特征向量在內(nèi)容上的第一相關(guān)度。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將每一所述第二特征和對應的目標參考特征進行融合處理，得到對應的第二更新特征，包括：

對每一所述第二特征與對應的目標參考特征作為待融合對；

針對每一待融合對，執(zhí)行以下步驟：

對所述目標參考特征進行變換，得到目標變換特征；

根據(jù)歸一化因子、所述第二特征和所述目標參考特征的綜合相關(guān)度、所述目標變換特征，確定第二更新特征，所述第二更新特征為更新后的所述第二特征。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

根據(jù)歸一化因子、所述第二更新特征和所述目標參考特征的綜合相關(guān)度、所述目標變換特征，確定第二再更新特征，所述第二再更新特征為更新后的所述第二更新特征；

對應地，所述根據(jù)每一所述第二更新特征，得到本層解碼層的處理結(jié)果，包括：

根據(jù)每一所述第二再更新特征，得到本層解碼層的處理結(jié)果。