[發(fā)明專利]文本識(shí)別模型的訓(xùn)練方法及裝置、文本識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110431158.4
• 申請(qǐng)日: 2021-04-21
• 公開（公告）號(hào): CN113111871A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 張鵬遠(yuǎn);李長亮;毛璐
• 申請(qǐng)（專利權(quán)）人: 北京金山數(shù)字娛樂科技有限公司;成都金山互動(dòng)娛樂科技有限公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述方法包括：

將獲取的第一樣本圖像輸入文本識(shí)別模型的區(qū)域檢測網(wǎng)絡(luò)，確定所述第一樣本圖像的至少一個(gè)第一子樣本圖像；

將所述至少一個(gè)第一子樣本圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，確定所述第一樣本圖像的預(yù)測文本，其中，所述預(yù)測文本基于所述字符識(shí)別網(wǎng)絡(luò)提取的每個(gè)第一子樣本圖像中圖像特征之間的序列關(guān)系確定；

確定所述預(yù)測文本和所述第一樣本圖像的第一樣本標(biāo)簽之間的第一誤差值，其中，所述第一樣本標(biāo)簽為所述第一樣本圖像中實(shí)際存在的文本；

基于所述第一誤差值對(duì)所述文本識(shí)別模型進(jìn)行訓(xùn)練，直至達(dá)到訓(xùn)練停止條件。

2.如權(quán)利要求1所述的文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述將獲取的第一樣本圖像輸入文本識(shí)別模型的區(qū)域檢測網(wǎng)絡(luò)，確定所述第一樣本圖像的至少一個(gè)第一子樣本圖像，包括：

將所述第一樣本圖像輸入所述區(qū)域檢測網(wǎng)絡(luò)，確定所述第一樣本圖像的至少一個(gè)預(yù)測文本框；

基于所述至少一個(gè)預(yù)測文本框?qū)λ龅谝粯颖緢D像進(jìn)行裁剪，得到所述至少一個(gè)第一子樣本圖像。

3.如權(quán)利要求2所述的文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述將所述第一樣本圖像輸入所述區(qū)域檢測網(wǎng)絡(luò)，確定所述第一樣本圖像的至少一個(gè)預(yù)測文本框，包括：

將所述第一樣本圖像輸入所述區(qū)域檢測網(wǎng)絡(luò)的第一特征提取層，得到所述第一樣本圖像的圖像空間特征圖；

將所述圖像空間特征圖輸入所述區(qū)域檢測網(wǎng)絡(luò)的特征增強(qiáng)層，得到所述第一樣本圖像的增強(qiáng)特征圖，其中，每個(gè)增強(qiáng)特征圖包括多個(gè)增強(qiáng)特征，每個(gè)增強(qiáng)特征表征所述圖像空間特征圖中至少兩個(gè)圖像空間特征之間的序列關(guān)系；

將所述增強(qiáng)特征圖輸入所述區(qū)域檢測網(wǎng)絡(luò)的區(qū)域生成層，得到所述第一樣本圖像的至少一個(gè)預(yù)測文本框。

4.如權(quán)利要求1所述的文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述將所述至少一個(gè)第一子樣本圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，確定所述第一樣本圖像的預(yù)測文本，包括：

將所述至少一個(gè)第一子樣本圖像輸入所述字符識(shí)別網(wǎng)絡(luò)的第二特征提取層，得到每個(gè)第一子樣本圖像的初始特征序列；

將每個(gè)第一子樣本圖像的初始特征序列輸入所述字符識(shí)別網(wǎng)絡(luò)的關(guān)系提取層，得到每個(gè)第一子樣本圖像的關(guān)系特征序列；

將每個(gè)第一子樣本圖像的關(guān)系特征序列輸入所述字符識(shí)別網(wǎng)絡(luò)的分類層，得到所述第一樣本圖像的預(yù)測文本。

5.如權(quán)利要求4所述的文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述將每個(gè)第一子樣本圖像的關(guān)系特征序列輸入所述字符識(shí)別網(wǎng)絡(luò)的分類層，得到所述第一樣本圖像的預(yù)測文本，包括：

將每個(gè)第一子樣本圖像的關(guān)系特征序列輸入所述字符識(shí)別網(wǎng)絡(luò)的分類層，得到每個(gè)第一子樣本圖像的子預(yù)測文本；

基于每個(gè)第一子樣本圖像的子預(yù)測文本確定所述第一樣本圖像的預(yù)測文本。

6.如權(quán)利要求5所述的文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述將所述至少一個(gè)第一子樣本圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)之前，還包括：

按照每個(gè)第一子樣本圖像的文本框在所述第一樣本圖像中的位置對(duì)所述至少一個(gè)第一子樣本圖像進(jìn)行排序，得到每個(gè)第一子樣本圖像的順序；

相應(yīng)地，將所述至少一個(gè)第一子樣本圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，包括：

按照每個(gè)第一子樣本圖像的順序?qū)⑺鲋辽僖粋€(gè)第一子樣本圖像輸入所述字符識(shí)別網(wǎng)絡(luò)。

7.如權(quán)利要求6所述的文本識(shí)別模型的訓(xùn)練方法，其特征在于，所述基于每個(gè)第一子樣本圖像的子預(yù)測文本確定所述第一樣本圖像的預(yù)測文本，包括：

按照每個(gè)第一子樣本圖像的順序?qū)λ鲋辽僖粋€(gè)第一子樣本圖像的子預(yù)測文本進(jìn)行拼接，得到所述第一樣本圖像的預(yù)測文本。