[發(fā)明專利]一種圖像中文本識(shí)別方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911374226.7
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN113033531B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 崔淼
• 申請(qǐng)（專利權(quán)）人: 上海智臻智能網(wǎng)絡(luò)科技股份有限公司
• 主分類號(hào): G06V30/14
• 分類號(hào): G06V30/14;G06V30/19
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明提供了一種圖像中文本識(shí)別方法、裝置和電子設(shè)備，方法包括以下步驟：獲取包含文本的待處理圖像；定位所述圖像中的文本區(qū)域；標(biāo)記所述文本區(qū)域的多個(gè)參考點(diǎn)，并獲取所述參考點(diǎn)的坐標(biāo)，所述參考點(diǎn)包括所述文本區(qū)域的多個(gè)邊界點(diǎn)和多個(gè)中心軸點(diǎn)；根據(jù)所述參考點(diǎn)的坐標(biāo)，對(duì)所述文本區(qū)域進(jìn)行矯正，得到矯正區(qū)域；提取所述矯正區(qū)域的文本特征，對(duì)所述文本特征進(jìn)行金字塔特征融合，獲取融合特征；根據(jù)所述融合特征，識(shí)別所述文本區(qū)域包含的文字。根據(jù)上述步驟，本發(fā)明提供的圖像中文本識(shí)別方法能夠更準(zhǔn)確地矯正圖像，提高文字識(shí)別的準(zhǔn)確性，此外還可減少處理時(shí)的參數(shù)量，提高處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種圖像中文本識(shí)別方法、裝置及電子設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)視覺技術(shù)研究的不斷深入，圖像場(chǎng)景中的文字識(shí)別受到越來越多的重視。圖像場(chǎng)景中文字識(shí)別旨在把圖像的文字區(qū)域轉(zhuǎn)換成機(jī)器可讀的符號(hào)并自動(dòng)解碼成字符。由于自然場(chǎng)景復(fù)雜、不規(guī)則的形狀、字符相近以及不等的光照條件，特別是在一些場(chǎng)景中，文字的形狀往往存在著扭曲、傾斜等狀態(tài)，使得文字識(shí)別的難度進(jìn)一步提高。

對(duì)于這種情況，現(xiàn)有的方法中一般采用如空間變換網(wǎng)絡(luò)(STN)等方式對(duì)圖像進(jìn)行矯正，但如果扭曲較為嚴(yán)重時(shí)容易造成失真。而且現(xiàn)有的一些識(shí)別方法存在著訓(xùn)練速度慢、識(shí)別準(zhǔn)確率低的問題，識(shí)別模型通常又比較巨大，很難達(dá)到產(chǎn)品化的需求。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提出一種圖像中文本識(shí)別的方法，能夠有效提高文字識(shí)別的準(zhǔn)確率。

一種圖像中文本識(shí)別的方法，包括以下步驟：

獲取包含文本的待處理圖像；

定位所述圖像中的文本區(qū)域；

標(biāo)記所述文本區(qū)域的多個(gè)參考點(diǎn)，并獲取所述參考點(diǎn)的坐標(biāo)，所述參考點(diǎn)包括所述文本區(qū)域的多個(gè)邊界點(diǎn)和多個(gè)中心軸點(diǎn)；

根據(jù)所述參考點(diǎn)的坐標(biāo)，對(duì)所述文本區(qū)域進(jìn)行矯正，得到矯正區(qū)域；

提取所述矯正區(qū)域的文本特征，對(duì)所述文本特征進(jìn)行金字塔特征融合，獲取融合特征；

根據(jù)所述融合特征，識(shí)別所述文本區(qū)域包含的文字。

可選地，所述根據(jù)所述參考點(diǎn)的坐標(biāo)，對(duì)所述文本區(qū)域進(jìn)行矯正，得到矯正區(qū)域包括：

將所述參考點(diǎn)的坐標(biāo)輸入訓(xùn)練好的空間變換網(wǎng)絡(luò)，獲取所述參考點(diǎn)對(duì)應(yīng)的矯正點(diǎn)的坐標(biāo)；

根據(jù)所述參考點(diǎn)的坐標(biāo)與所述矯正點(diǎn)的坐標(biāo)，對(duì)所述文本區(qū)域進(jìn)行矯正，得到矯正區(qū)域。

可選地，所述提取所述矯正區(qū)域的文本特征，對(duì)所述文本特征進(jìn)行金字塔特征融合，獲取融合特征包括：

將所述矯正區(qū)域輸入訓(xùn)練好的輕量檢測(cè)網(wǎng)絡(luò)，通過Stem層對(duì)所述矯正區(qū)域進(jìn)行降采樣；

將降采樣后的數(shù)據(jù)依次通過所述輕量檢測(cè)網(wǎng)絡(luò)的各個(gè)過渡層；

根據(jù)所述Stem層和所述各個(gè)過渡層的輸出結(jié)果，進(jìn)行金字塔特征融合，得到所述融合特征。

可選地，所述根據(jù)所述Stem層和所述各個(gè)過渡層的輸出結(jié)果，進(jìn)行金字塔特征融合，得到所述融合特征包括：

在所述Stem層中選取若干卷積層，在所述各個(gè)過渡層中選取若干過渡層，根據(jù)所述若干卷積層、所述若干過渡層的輸出結(jié)果，進(jìn)行金字塔特征融合，得到所述融合特征。

可選地，所述在所述Stem層中選取若干卷積層，在所述各個(gè)過渡層中選取若干過渡層，根據(jù)所述若干卷積層、所述若干過渡層的輸出結(jié)果，進(jìn)行金字塔特征融合，得到所述融合特征包括：

選取所述輕量檢測(cè)網(wǎng)絡(luò)的一層第一卷積層和三層過渡層的輸出結(jié)果進(jìn)行金字塔特征融合，所述第一卷積層從所述Stem層的前兩層卷積層中選取；