[發(fā)明專利]彎曲文本圖像的文字識(shí)別方法、裝置及計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011312589.0
• 申請(qǐng)日: 2020-11-20
• 公開（公告）號(hào): CN112364873A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 朱錦祥;臧磊
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/32;G06T3/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 涂年影

1.一種彎曲文本圖像的文字識(shí)別方法，其特征在于，包括以下步驟：

若接收到用戶輸入的文本圖像，根據(jù)預(yù)設(shè)的第一處理規(guī)則對(duì)所述文本圖像進(jìn)行預(yù)處理，得到預(yù)處理后的文本圖像；

將所述預(yù)處理后的文本圖像進(jìn)行特征提取，得到所述文本圖像的特征金字塔；

根據(jù)預(yù)設(shè)的第二處理規(guī)則對(duì)所述特征金字塔中每層特征圖進(jìn)行圖像分割處理，得到所述文本圖像的多張分割掩碼圖；

根據(jù)廣度優(yōu)先搜索算法對(duì)所述多張分割掩碼圖中文本區(qū)域最小的分割掩碼圖進(jìn)行擴(kuò)展，得到已框定所述文本圖像中所有字符的第一文本框；

將所述第一文本框進(jìn)行仿射變換，得到仿射變換后的第二文本框；

將所述仿射變換后的第二文本框內(nèi)的文字進(jìn)行分類識(shí)別，得到所述文本圖像中的文字。

2.根據(jù)權(quán)利要求1所述的彎曲文本圖像的文字識(shí)別方法，其特征在于，所述根據(jù)預(yù)設(shè)的第一處理規(guī)則對(duì)所述文本圖像進(jìn)行預(yù)處理，得到預(yù)處理后的文本圖像，包括：

根據(jù)所述文本圖像的長邊獲取對(duì)所述文本圖像進(jìn)行縮放的縮放因子；

根據(jù)所述縮放因子對(duì)所述文本圖像進(jìn)行縮放，得到縮放后的文本圖像；

對(duì)所述縮放后的文本圖像的短邊進(jìn)行填充，得到正方形的文本圖像。

3.根據(jù)權(quán)利要求1所述的彎曲文本圖像的文字識(shí)別方法，其特征在于，所述將所述預(yù)處理后的文本圖像進(jìn)行特征提取，得到所述文本圖像的特征金字塔，包括：

將所述預(yù)處理后的文本圖像進(jìn)行卷積處理，得到所述文本圖像的多層特征圖；

根據(jù)所述多層特征圖構(gòu)建所述文本圖像的特征金子塔。

4.根據(jù)權(quán)利要求1所述的彎曲文本圖像的文字識(shí)別方法，其特征在于，所述根據(jù)預(yù)設(shè)的第二處理規(guī)則對(duì)所述特征金字塔中每層特征圖進(jìn)行圖像分割處理，得到所述文本圖像的多張分割掩碼圖，包括：

將所述特征金字塔中每層特征圖輸入到預(yù)置的全卷積神經(jīng)網(wǎng)絡(luò)模型中，得到所述特征金字塔中每層特征圖的語義分割圖；

將所述特征金字塔中每層特征圖的語義分割圖分別進(jìn)行二值化處理，得到所述文本圖像的多張分割掩碼圖。

5.根據(jù)權(quán)利要求4所述的彎曲文本圖像的文字識(shí)別方法，其特征在于，所述將所述特征金字塔中每層特征圖的語義分割圖分別進(jìn)行二值化處理，得到所述文本圖像的多張分割掩碼圖，包括：

將所述特征金字塔中每層特征圖的語義分割圖進(jìn)行歸一化處理，得到歸一化處理后的語義分割圖；

根據(jù)預(yù)設(shè)閾值對(duì)所述歸一化處理后的語義分割圖進(jìn)行二值化處理，得到所述歸一化處理后的語義分割圖的分割掩碼圖；

將所述歸一化處理后的語義分割圖的分割掩碼圖進(jìn)行伸縮處理，得到所述文本圖像的分割掩碼圖。

6.根據(jù)權(quán)利要求5所述的彎曲文本圖像的文字識(shí)別方法，其特征在于，所述根據(jù)廣度優(yōu)先搜索算法對(duì)所述多張分割掩碼圖中文本區(qū)域最小的分割掩碼圖進(jìn)行擴(kuò)展，得到已框定所述文本圖像中所有字符的第一文本框，包括：

根據(jù)所述特征金字塔中頂層特征圖、底層特征圖分別從所述多張分割掩碼圖中獲取文本區(qū)域最小的分割掩碼圖以及文本區(qū)域最大的分割掩碼圖；

基于所述文本區(qū)域最大的分割掩碼圖對(duì)所述文本區(qū)域最小的分割掩碼圖采用廣度優(yōu)先搜索算法進(jìn)行擴(kuò)展，得到所述第一文本框。

7.根據(jù)權(quán)利要求1所述的彎曲文本圖像的文字識(shí)別方法，其特征在于，所述將所述仿射變換后的第二文本框內(nèi)的文字進(jìn)行分類識(shí)別，得到所述文本圖像中的文字，包括：

將所述仿射變換后的第二文本框輸入到預(yù)置的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型中，得到所述文本圖像的特征向量序列；

將所述文本圖像的特征向量序列輸入到預(yù)置的分類器中進(jìn)行分類識(shí)別，得到所述文本圖像中的文字。