[發(fā)明專利]一種文本圖像的識(shí)別方法、裝置及計(jì)算設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110515979.6
• 申請(qǐng)日: 2021-05-12
• 公開(kāi)（公告）號(hào): CN112949649B
• 公開(kāi)（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 秦勇
• 申請(qǐng)（專利權(quán)）人: 北京世紀(jì)好未來(lái)教育科技有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京鼎承知識(shí)產(chǎn)權(quán)代理有限公司 11551
• 代理人: 顧可嘉;夏華棟

1.一種文本圖像的識(shí)別方法，其特征在于，包括：

將文本圖像輸入已訓(xùn)練的第一編碼器，提取所述文本圖像的劃痕的第三特征；其中，預(yù)先訓(xùn)練所述第一編碼器，包括：構(gòu)建包括第一編碼器、第二編碼器和解碼器的第二網(wǎng)絡(luò)模型；以純劃痕圖像作為所述第一編碼器的輸入，以純文本圖像作為所述第二編碼器的輸入，以帶劃痕的圖像作為輸出訓(xùn)練所述第二網(wǎng)絡(luò)模型；從訓(xùn)練后的所述第二網(wǎng)絡(luò)模型中提取所述第一編碼器；

將所述文本圖像和所述第三特征輸入已訓(xùn)練的第一網(wǎng)絡(luò)模型，得到所述文本圖像中的文本框的內(nèi)容；

其中，所述第一網(wǎng)絡(luò)模型用于獲取所述文本圖像的第一特征，根據(jù)所述文本圖像的第一特征，識(shí)別所述文本圖像中的文本框，根據(jù)所述文本框的坐標(biāo)信息，從所述文本圖像的第一特征中等比例地截取與所述文本框?qū)?yīng)的第二特征，將所述第二特征減去所述第三特征，得到與所述文本框?qū)?yīng)的第四特征，根據(jù)所述第四特征識(shí)別所述文本框的內(nèi)容。

2.如權(quán)利要求1所述的方法，其特征在于，訓(xùn)練所述第一網(wǎng)絡(luò)模型，包括：

根據(jù)純文本圖像和/或帶劃痕的圖像對(duì)所述第一網(wǎng)絡(luò)模型進(jìn)行第一次訓(xùn)練；所述第一網(wǎng)絡(luò)模型在第一次訓(xùn)練時(shí)，用于獲取純文本圖像和/或帶劃痕的圖像的第一特征，根據(jù)純文本圖像和/或帶劃痕的圖像的第一特征，識(shí)別純文本圖像和/或帶劃痕的圖像中的文本框，根據(jù)文本框的坐標(biāo)信息，從純文本圖像和/或帶劃痕的圖像的第一特征中等比例地截取與文本框?qū)?yīng)的第二特征，根據(jù)第二特征識(shí)別文本框的內(nèi)容；

根據(jù)帶劃痕的圖像對(duì)所述第一網(wǎng)絡(luò)模型進(jìn)行第二次訓(xùn)練；所述第一網(wǎng)絡(luò)模型在第二次訓(xùn)練時(shí)，用于獲取帶劃痕的圖像的第一特征，根據(jù)帶劃痕的圖像的第一特征，識(shí)別帶劃痕的圖像中的文本框，根據(jù)文本框的坐標(biāo)信息，從帶劃痕的圖像的第一特征中等比例地截取與文本框?qū)?yīng)的第二特征，將第二特征減去所述第一編碼器處理同一帶劃痕的圖像后輸出的第三特征，得到與文本框?qū)?yīng)的第四特征，根據(jù)第四特征識(shí)別文本框的內(nèi)容。

3.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述第四特征識(shí)別所述文本框的內(nèi)容，包括：

根據(jù)CRNN網(wǎng)絡(luò)，將所述第四特征作卷積、池化、構(gòu)建時(shí)序、解碼處理，得到所述文本框的內(nèi)容。

4.如權(quán)利要求1所述的方法，其特征在于，獲取所述文本圖像的第一特征，包括：

通過(guò)特征提取網(wǎng)絡(luò)，獲取所述文本圖像的第一特征；

其中，所述特征提取網(wǎng)絡(luò)包括：VGG16、或VGG19、或VGG13、或resnet18、或resnet34、或resnet52。

5.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述文本圖像的第一特征，識(shí)別所述文本圖像中的文本框，包括：

根據(jù)CenterNet網(wǎng)絡(luò)，將所述文本圖像的第一特征作卷積、兩次反卷積處理，得到一組用于描述所述文本圖像中的文本框的多通道輸出。

6.如權(quán)利要求5所述的方法，其特征在于，所述多通道輸出包括6個(gè)通道輸出，其中，第1個(gè)通道表示文本框中心點(diǎn)得分圖；第2個(gè)通道和第3個(gè)通道分別表示文本框中心點(diǎn)的x、y方向偏移量；第4個(gè)通道和第5個(gè)通道分別表示預(yù)測(cè)的文本框的寬、高；第6個(gè)通道表示文本框的旋轉(zhuǎn)角度。

7.如權(quán)利要求1所述的方法，其特征在于，構(gòu)建包括第一編碼器、第二編碼器和解碼器的第二網(wǎng)絡(luò)模型之前，還包括：

根據(jù)純劃痕圖像訓(xùn)練所述第一編碼器；

根據(jù)純文本圖像訓(xùn)練所述第二編碼器。

8.如權(quán)利要求1所述的方法，其特征在于，以純劃痕圖像作為所述第一編碼器的輸入，以純文本圖像作為所述第二編碼器的輸入，以帶劃痕的圖像作為輸出訓(xùn)練所述第二網(wǎng)絡(luò)模型，包括：

固定所述第一編碼器和所述第二編碼器的參數(shù)，以純劃痕圖像作為所述第一編碼器的輸入，以純文本圖像作為所述第二編碼器的輸入，以帶劃痕的圖像作為輸出第一次訓(xùn)練所述第二網(wǎng)絡(luò)模型；

不固定所述第一編碼器和所述第二編碼器的參數(shù)，以純劃痕圖像作為所述第一編碼器的輸入，以純文本圖像作為所述第二編碼器的輸入，以帶劃痕的圖像作為輸出第二次訓(xùn)練所述第二網(wǎng)絡(luò)模型。