[發(fā)明專利]文本識(shí)別模型的訓(xùn)練方法及裝置、文本識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110431158.4
• 申請(qǐng)日: 2021-04-21
• 公開(kāi)（公告）號(hào): CN113111871A
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 張鵬遠(yuǎn);李長(zhǎng)亮;毛璐
• 申請(qǐng)（專利權(quán)）人: 北京金山數(shù)字娛樂(lè)科技有限公司;成都金山互動(dòng)娛樂(lè)科技有限公司
• 主分類(lèi)號(hào): G06K9/20
• 分類(lèi)號(hào): G06K9/20;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

本申請(qǐng)?zhí)峁┮环N文本識(shí)別模型的訓(xùn)練方法及裝置、文本識(shí)別方法及裝置，其中所述文本識(shí)別模型的訓(xùn)練方法包括：將獲取的第一樣本圖像輸入文本識(shí)別模型的區(qū)域檢測(cè)網(wǎng)絡(luò)，確定第一樣本圖像的至少一個(gè)第一子樣本圖像；將至少一個(gè)第一子樣本圖像輸入文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，確定第一樣本圖像的預(yù)測(cè)文本，該預(yù)測(cè)文本基于字符識(shí)別網(wǎng)絡(luò)提取的每個(gè)第一子樣本圖像中圖像特征之間的序列關(guān)系確定；確定預(yù)測(cè)文本和第一樣本圖像的第一樣本標(biāo)簽之間的第一誤差值，該第一樣本標(biāo)簽為第一樣本圖像中實(shí)際存在的文本；基于第一誤差值對(duì)文本識(shí)別模型進(jìn)行訓(xùn)練，直至達(dá)到訓(xùn)練停止條件。上述方法使得得到的預(yù)測(cè)文本準(zhǔn)確率更高，可以提高文本識(shí)別模型的訓(xùn)練效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種文本識(shí)別模型的訓(xùn)練方法及裝置、文本識(shí)別方法及裝置、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

圖像中有時(shí)可以包含豐富的文本信息，針對(duì)圖像的文本識(shí)別則是通過(guò)對(duì)圖像進(jìn)行一定的圖像處理，從而獲取圖像中的文本。通常情況下，圖像文本識(shí)別可以包括區(qū)域檢測(cè)和字符識(shí)別兩個(gè)階段，在區(qū)域檢測(cè)階段檢測(cè)得到圖像中存在文本的區(qū)域，在字符識(shí)別階段對(duì)圖像中存在文本的區(qū)域進(jìn)行字符識(shí)別，得到圖像中的文本。

現(xiàn)有技術(shù)中，文本識(shí)別的字符識(shí)別階段通常通過(guò)字符識(shí)別網(wǎng)絡(luò)實(shí)現(xiàn)。并且，現(xiàn)有的字符識(shí)別網(wǎng)絡(luò)通常以CTC(Connectionist Temporal Classification，連接時(shí)序分類(lèi))loss作為損失函數(shù)，以確定圖像中的每個(gè)字符，進(jìn)而確定圖像的文本。但CTC loss僅關(guān)注單個(gè)字符的特征，而識(shí)別出的文本的準(zhǔn)確率是與單個(gè)字符以及字符之間的語(yǔ)義關(guān)系均相關(guān)的，因此上述方法確定的文本可能不準(zhǔn)確或者語(yǔ)義不連貫，通過(guò)該不準(zhǔn)確的文本對(duì)文本識(shí)別模型進(jìn)行訓(xùn)練可能會(huì)降低文本識(shí)別模型的訓(xùn)練效率。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了一種文本識(shí)別模型的訓(xùn)練方法及裝置、文本識(shí)別方法及裝置、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中存在的技術(shù)缺陷。

根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供了一種文本識(shí)別模型的訓(xùn)練方法，包括：

將獲取的第一樣本圖像輸入文本識(shí)別模型的區(qū)域檢測(cè)網(wǎng)絡(luò)，確定所述第一樣本圖像的至少一個(gè)第一子樣本圖像；

將所述至少一個(gè)第一子樣本圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，確定所述第一樣本圖像的預(yù)測(cè)文本，其中，所述預(yù)測(cè)文本基于所述字符識(shí)別網(wǎng)絡(luò)提取的每個(gè)第一子樣本圖像中圖像特征之間的序列關(guān)系確定；

確定所述預(yù)測(cè)文本和所述第一樣本圖像的第一樣本標(biāo)簽之間的第一誤差值，其中，所述第一樣本標(biāo)簽為所述第一樣本圖像中實(shí)際存在的文本；

基于所述第一誤差值對(duì)所述文本識(shí)別模型進(jìn)行訓(xùn)練，直至達(dá)到訓(xùn)練停止條件。

根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供了一種文本識(shí)別方法，包括：

獲取待識(shí)別圖像；

將所述待識(shí)別圖像輸入文本識(shí)別模型的區(qū)域檢測(cè)網(wǎng)絡(luò)，確定所述待識(shí)別圖像的至少一個(gè)子待識(shí)別圖像，其中，所述文本識(shí)別模型基于上述第一方面所述的方法訓(xùn)練得到；

將所述至少一個(gè)子待識(shí)別圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，得到所述待識(shí)別圖像的文本。

根據(jù)本申請(qǐng)實(shí)施例的第三方面，提供了一種文本識(shí)別模型的訓(xùn)練裝置，包括：

第一確定模塊，被配置為將獲取的第一樣本圖像輸入文本識(shí)別模型的區(qū)域檢測(cè)網(wǎng)絡(luò)，確定所述第一樣本圖像的至少一個(gè)第一子樣本圖像；

第二確定模塊，被配置為將所述至少一個(gè)第一子樣本圖像輸入所述文本識(shí)別模型的字符識(shí)別網(wǎng)絡(luò)，確定所述第一樣本圖像的預(yù)測(cè)文本，其中，所述預(yù)測(cè)文本基于所述字符識(shí)別網(wǎng)絡(luò)提取的每個(gè)第一子樣本圖像中圖像特征之間的序列關(guān)系確定；