[發(fā)明專利]矯正網(wǎng)絡(luò)模型的訓(xùn)練方法和裝置、文本識別方法和裝置

有效

• 申請?zhí)枺?/td>: 202010190907.4
• 申請日: 2020-03-18
• 公開（公告）號: CN111402164B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計）人: 程苗苗;蔡曉聰;侯軍
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V30/14;G06V30/148;G06V30/18;G06V30/19;G06V10/82;G06N3/0464;G06N3/0442;G06N3/045;G06N3/048;G06N3/084
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

本公開實施例提供一種矯正網(wǎng)絡(luò)模型的訓(xùn)練方法和裝置、文本識別方法和裝置，其中，矯正網(wǎng)絡(luò)模型的訓(xùn)練方法可以包括：通過所述矯正網(wǎng)絡(luò)模型對樣本文本圖像進行特征提取，得到特征提取結(jié)果；基于所述矯正網(wǎng)絡(luò)模型得到的所述特征提取結(jié)果，得到第一圖像分割結(jié)果；利用樣本文本圖像的參考分割結(jié)果對所述第一圖像分割結(jié)果進行監(jiān)督，以調(diào)整所述矯正網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)。

技術(shù)領(lǐng)域

本公開涉及機器學(xué)習(xí)技術(shù)，具體涉及一種矯正網(wǎng)絡(luò)模型的訓(xùn)練方法和裝置、文本識別方法和裝置。

背景技術(shù)

文本識別可以在多種場景中有多種應(yīng)用，例如，招牌文本識別、車牌識別等。而真實場景下的文本可能會是一些不規(guī)則的文本，比如，角度不正，文字彎曲、文字傾斜等，這種不規(guī)則文本難以用原圖掃描識別。相關(guān)技術(shù)中進行文本識別時，可以先將文本圖像矯正成規(guī)則的形狀，再通過對矯正后的圖像進行識別得到圖像中的文本。但是實踐發(fā)現(xiàn)，上述這種識別方式的識別效果仍然有待提高。

發(fā)明內(nèi)容

有鑒于此，本公開實施例至少提供一種矯正網(wǎng)絡(luò)模型的訓(xùn)練方法和裝置、文本識別方法和裝置。

第一方面，提供一種矯正網(wǎng)絡(luò)模型的訓(xùn)練方法，所述方法包括：

通過所述矯正網(wǎng)絡(luò)模型對樣本文本圖像進行特征提取，得到特征提取結(jié)果；

基于所述矯正網(wǎng)絡(luò)模型得到的所述特征提取結(jié)果，得到第一圖像分割結(jié)果；

利用所述樣本文本圖像的參考分割結(jié)果對所述第一圖像分割結(jié)果進行監(jiān)督，以調(diào)整所述矯正網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)。

在一些實施例中，所述利用所述樣本文本圖像的參考分割結(jié)果對所述第一圖像分割結(jié)果進行監(jiān)督，包括：通過分割網(wǎng)絡(luò)模型對所述樣本文本圖像進行分割處理，得到所述參考分割結(jié)果，并根據(jù)所述參考分割結(jié)果對所述第一圖像分割結(jié)果進行監(jiān)督。

在一些實施例中，所述基于所述矯正網(wǎng)絡(luò)模型得到的所述特征提取結(jié)果，得到第一圖像分割結(jié)果，包括：對所述矯正網(wǎng)絡(luò)模型得到的所述特征提取結(jié)果進行上采樣處理，得到第一圖像分割結(jié)果。

在一些實施例中，所述矯正網(wǎng)絡(luò)模型包括特征提取子網(wǎng)絡(luò)；所述通過所述矯正網(wǎng)絡(luò)模型對樣本文本圖像進行特征提取，得到特征提取結(jié)果，包括：通過所述矯正網(wǎng)絡(luò)模型中的特征提取子網(wǎng)絡(luò)對所述樣本文本圖像進行特征提取，得到特征提取結(jié)果；所述利用所述樣本文本圖像的參考分割結(jié)果對所述第一圖像分割結(jié)果進行監(jiān)督，以調(diào)整所述矯正網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)，包括：利用所述樣本文本圖像的參考分割結(jié)果對所述第一圖像分割結(jié)果進行監(jiān)督，以調(diào)整所述矯正網(wǎng)絡(luò)模型中的特征提取子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

在一些實施例中，所述矯正網(wǎng)絡(luò)模型包括矯正子網(wǎng)絡(luò)，所述方法還包括：通過所述矯正子網(wǎng)絡(luò)對所述特征提取結(jié)果進行處理，得到多個矯正點，并基于所述多個矯正點和所述樣本文本圖像獲得矯正樣本圖像；所述方法還包括：基于對所述矯正樣本圖像的樣本文本識別結(jié)果，調(diào)整矯正網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)。

在一些實施例中，所述方法用于訓(xùn)練文本識別網(wǎng)絡(luò)模型，其中，所述文本識別網(wǎng)絡(luò)模型包括：所述矯正網(wǎng)絡(luò)模型和識別網(wǎng)絡(luò)模型；所述方法還包括：通過所述識別網(wǎng)絡(luò)模型對所述矯正網(wǎng)絡(luò)模型得到的矯正樣本圖像進行識別處理，得到樣本文本識別結(jié)果；根據(jù)所述樣本文本識別結(jié)果，調(diào)整所述矯正網(wǎng)絡(luò)模型和識別網(wǎng)絡(luò)模型中的至少一種的網(wǎng)絡(luò)參數(shù)。

在一些實施例中，所述根據(jù)所述樣本文本識別結(jié)果，調(diào)整所述矯正網(wǎng)絡(luò)模型和識別網(wǎng)絡(luò)模型中的至少一種的網(wǎng)絡(luò)參數(shù)，包括：基于所述樣本文本識別結(jié)果與所述樣本文本圖像的標(biāo)簽信息，得到識別損失；基于所述識別損失、以及通過所述第一圖像分割結(jié)果和參考分割結(jié)果得到的分割損失，得到總網(wǎng)絡(luò)損失；基于所述總網(wǎng)絡(luò)損失，調(diào)整所述文本識別網(wǎng)絡(luò)模型中的矯正網(wǎng)絡(luò)模型和識別網(wǎng)絡(luò)模型中的至少一種的網(wǎng)絡(luò)參數(shù)。

第二方面，提供一種文本識別方法，所述方法由文本識別網(wǎng)絡(luò)模型執(zhí)行，所述方法包括：