[發(fā)明專利]圖像分割方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010675328.9
• 申請(qǐng)日: 2020-07-14
• 公開(kāi)（公告）號(hào): CN112053362A
• 公開(kāi)（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 伍天意;郭國(guó)棟
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06T5/00;G06K9/46;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

1.一種圖像分割方法，包括：

獲取輸入圖像，并提取所述輸入圖像的視覺(jué)特征；

根據(jù)所述輸入圖像的視覺(jué)特征生成視覺(jué)圖；

獲取語(yǔ)義圖；

根據(jù)所述語(yǔ)義圖對(duì)所述視覺(jué)圖進(jìn)行增強(qiáng)以生成增強(qiáng)視覺(jué)圖；

對(duì)所述增強(qiáng)視覺(jué)圖進(jìn)行反投影以生成局部增強(qiáng)像素級(jí)特征；以及

根據(jù)所述局部增強(qiáng)像素級(jí)特征進(jìn)行圖像分割。

2.如權(quán)利要求1所述的圖像分割方法，其中，所述根據(jù)所述輸入圖像的視覺(jué)特征生成視覺(jué)圖，包括：

獲取投影矩陣和轉(zhuǎn)換矩陣；

根據(jù)所述投影矩陣、所述轉(zhuǎn)換矩陣和所述輸入圖像的視覺(jué)特征生成所述視覺(jué)圖。

3.如權(quán)利要求1所述的圖像分割方法，其中，所述獲取語(yǔ)義圖包括：

根據(jù)預(yù)設(shè)詞向量生成每個(gè)類別的語(yǔ)義表征；

根據(jù)預(yù)設(shè)的多層感知矩陣和所述每個(gè)類別的語(yǔ)義表征生成語(yǔ)義圖。

4.如權(quán)利要求1所述的圖像分割方法，其中，所述根據(jù)所述語(yǔ)義圖對(duì)所述視覺(jué)圖進(jìn)行增強(qiáng)以生成增強(qiáng)視覺(jué)圖，包括：

對(duì)所述語(yǔ)義圖進(jìn)行自推理以生成語(yǔ)義自推理圖；

對(duì)所述視覺(jué)圖進(jìn)行自推理以生成視覺(jué)自推理圖；

根據(jù)所述語(yǔ)義自推理圖和所述視覺(jué)自推理圖生成第一引導(dǎo)矩陣，其中，所述第一引導(dǎo)矩陣為所述語(yǔ)義圖至所述視覺(jué)圖的引導(dǎo)矩陣；

根據(jù)所述視覺(jué)自推理圖和所述第一引導(dǎo)矩陣生成所述增強(qiáng)視覺(jué)圖。

5.如權(quán)利要求4所述的圖像分割方法，其中，還包括：

根據(jù)所述語(yǔ)義自推理圖和所述視覺(jué)自推理圖生成第二引導(dǎo)矩陣，其中，所述第二引導(dǎo)矩陣為所述視覺(jué)圖至所述語(yǔ)義圖的引導(dǎo)矩陣；

根據(jù)所述語(yǔ)義自推理圖和所述第二引導(dǎo)矩陣生成增強(qiáng)語(yǔ)義圖，其中，所述增強(qiáng)語(yǔ)義圖用于進(jìn)行語(yǔ)義上下文約束。

6.如權(quán)利要求1所述的圖像分割方法，其中，所述對(duì)所述增強(qiáng)視覺(jué)圖進(jìn)行反投影以生成局部增強(qiáng)像素級(jí)特征，包括：

獲取轉(zhuǎn)置矩陣和權(quán)重矩陣；

根據(jù)所述轉(zhuǎn)置矩陣、所述權(quán)重矩陣和所述增強(qiáng)視覺(jué)圖以及所述輸入圖像的視覺(jué)特征生成所述局部增強(qiáng)像素級(jí)特征。

7.如權(quán)利要求1所述的圖像分割方法，其中，所述根據(jù)所述局部增強(qiáng)像素級(jí)特征進(jìn)行圖像分割，包括：

對(duì)所述局部增強(qiáng)像素級(jí)特征進(jìn)行卷積以生成局部增強(qiáng)像素級(jí)卷積特征；

對(duì)所述局部增強(qiáng)像素級(jí)卷積特征進(jìn)行上采樣以生成圖像分割結(jié)果。

8.一種圖像分割裝置，包括：

第一獲取模塊，用于獲取輸入圖像，并提取所述輸入圖像的視覺(jué)特征；

第一生成模塊，用于根據(jù)所述輸入圖像的視覺(jué)特征生成視覺(jué)圖；

第二獲取模塊，用于獲取語(yǔ)義圖；

第二生成模塊，用于根據(jù)所述語(yǔ)義圖對(duì)所述視覺(jué)圖進(jìn)行增強(qiáng)以生成增強(qiáng)視覺(jué)圖；

反投影模塊，用于對(duì)所述增強(qiáng)視覺(jué)圖進(jìn)行反投影以生成局部增強(qiáng)像素級(jí)特征；

分割模塊，用于根據(jù)所述局部增強(qiáng)像素級(jí)特征進(jìn)行圖像分割。

9.如權(quán)利要求8所述的圖像分割裝置，其中，所述第一生成模塊具體用于，

獲取投影矩陣和轉(zhuǎn)換矩陣；

根據(jù)所述投影矩陣、所述轉(zhuǎn)換矩陣和所述輸入圖像的視覺(jué)特征生成所述視覺(jué)圖。

10.如權(quán)利要求8所述的圖像分割裝置，其中，所述第二獲取模塊具體用于，

根據(jù)預(yù)設(shè)詞向量生成每個(gè)類別的語(yǔ)義表征；

根據(jù)預(yù)設(shè)的多層感知矩陣和所述每個(gè)類別的語(yǔ)義表征生成語(yǔ)義圖。

11.如權(quán)利要求8所述的圖像分割裝置，其中，所述第二生成模塊具體用于，

對(duì)所述語(yǔ)義圖進(jìn)行自推理以生成語(yǔ)義自推理圖；

對(duì)所述視覺(jué)圖進(jìn)行自推理以生成視覺(jué)自推理圖；

根據(jù)所述語(yǔ)義自推理圖和所述視覺(jué)自推理圖生成第一引導(dǎo)矩陣，其中，所述第一引導(dǎo)矩陣為所述語(yǔ)義圖至所述視覺(jué)圖的引導(dǎo)矩陣；

根據(jù)所述視覺(jué)自推理圖和所述第一引導(dǎo)矩陣生成所述增強(qiáng)視覺(jué)圖。