[發(fā)明專(zhuān)利]圖像處理方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110206738.3
• 申請(qǐng)日: 2021-02-24
• 公開(kāi)（公告）號(hào): CN114973218A
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 龍如蛟;王鵬飛;楊志博;王永攀
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06V20/62
• 分類(lèi)號(hào): G06V20/62;G06V10/764;G06V10/82;G06V30/19;G06N3/04;G06N3/08
• 代理公司: 北京博浩百睿知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11134
• 代理人: 謝湘寧;張文華

1.一種圖像處理方法，其特征在于，包括：

獲取文本圖像；

利用結(jié)構(gòu)檢測(cè)模型對(duì)所述文本圖像進(jìn)行識(shí)別，得到所述文本圖像的識(shí)別結(jié)果，其中，所述識(shí)別結(jié)果包括：所述文本圖像包含的文字的屬性，以及所述文字在所述文本圖像中的位置；

其中，所述結(jié)構(gòu)檢測(cè)模型包括：第一分支模型和第二分支模型，所述第一分支模型用于識(shí)別所述文本圖像，得到所述文字在所述文本圖像中的位置，所述第二分支模型用于識(shí)別所述文本圖像，得到所述文字的屬性，所述結(jié)構(gòu)檢測(cè)模型是依次利用第一訓(xùn)練樣本和第二訓(xùn)練樣本進(jìn)行訓(xùn)練得到。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述第一分支模型和所述第二分支模型采用相同特征提取模型，所述特征提取模型用于接收輸入的圖像，并提取所述圖像的特征；

所述第一分支模型還包括：回歸分支模型，所述回歸分支模型的輸入層與所述特征提取模型的輸出層連接，所述回歸分支模型用于對(duì)所述特征提取模型輸出的所述圖像的特征進(jìn)行處理，得到所述圖像包含文字在所述圖像中的位置；

所述第二分支模型還包括：分類(lèi)分支模型，所述分類(lèi)分支模型的輸入層與所述特征提取模型的輸出層連接，所述分類(lèi)分支模型用于對(duì)所述特征提取模型輸出的所述圖像的特征進(jìn)行處理，得到所述圖像包含文字的屬性。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用結(jié)構(gòu)檢測(cè)模型對(duì)所述文本圖像進(jìn)行識(shí)別，得到所述文本圖像的識(shí)別結(jié)果包括：

將所述文本圖像輸入至所述特征提取模型，得到所述文本圖像的特征信息；

將所述文本圖像的特征信息輸入至所述回歸分支模型，確定所述文字在所述文本圖像中的位置；

將所述文本圖像的特征信息輸入至所述分類(lèi)分支模型，確定所述文字的屬性。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

獲取所述第一訓(xùn)練樣本和所述第二訓(xùn)練樣本，其中，所述第一訓(xùn)練樣本包括：多張第一文本圖像，以及每張第一文本圖像包含的第一文字的標(biāo)注位置，所述第二訓(xùn)練樣本包括：多張第二文本圖像，每張第二文本圖像包含的第二文字的標(biāo)注屬性，所述第二訓(xùn)練樣本的數(shù)量小于預(yù)設(shè)數(shù)量；

利用所述第一訓(xùn)練樣本對(duì)初始模型進(jìn)行訓(xùn)練，得到初始結(jié)構(gòu)檢測(cè)模型；

利用所述第二訓(xùn)練樣本對(duì)所述初始結(jié)構(gòu)檢測(cè)模型進(jìn)行訓(xùn)練，得到所述結(jié)構(gòu)檢測(cè)模型，其中，所述初始結(jié)構(gòu)檢測(cè)模型的特征提取模型和回歸分支模型的網(wǎng)絡(luò)參數(shù)在訓(xùn)練過(guò)程中保持不變。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，獲取所述第二訓(xùn)練樣本包括：

獲取所述多張第二文本圖像；

利用數(shù)據(jù)增強(qiáng)算法對(duì)所述多張第二文本圖像進(jìn)行處理，生成所述第二訓(xùn)練樣本。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，利用所述第二訓(xùn)練樣本對(duì)所述初始結(jié)構(gòu)檢測(cè)模型進(jìn)行訓(xùn)練包括：

將所述每張第二文本圖像輸入至所述初始結(jié)構(gòu)檢測(cè)模型的特征提取模型，得到所述每張第二文本圖像的特征信息；

將所述每張第二文本圖像的特征信息輸入至所述初始結(jié)構(gòu)檢測(cè)模型的分類(lèi)分支模型，確定所述第二文字的預(yù)測(cè)屬性；

基于所述第二文字的標(biāo)注屬性和預(yù)測(cè)屬性，對(duì)所述初始結(jié)構(gòu)檢測(cè)模型的分類(lèi)分支模型的網(wǎng)絡(luò)參數(shù)進(jìn)行更新。

7.一種圖像處理方法，其特征在于，包括：

顯示文本圖像；

在所述文本圖像上標(biāo)記所述文本圖像的識(shí)別結(jié)果，其中，所述識(shí)別結(jié)果利用結(jié)構(gòu)檢測(cè)模型對(duì)所述文本圖像進(jìn)行識(shí)別得到，所述識(shí)別結(jié)果包括：所述文本圖像包含的文字的屬性，以及所述文字在所述文本圖像中的位置；

其中，所述結(jié)構(gòu)檢測(cè)模型包括：第一分支模型和第二分支模型，所述第一分支模型用于識(shí)別所述文本圖像，得到所述文字在所述文本圖像中的位置，所述第二分支模型用于識(shí)別所述文本圖像，得到所述文字的屬性，所述結(jié)構(gòu)檢測(cè)模型是依次利用第一訓(xùn)練樣本和第二訓(xùn)練樣本進(jìn)行訓(xùn)練得到。