[發(fā)明專利]文字檢測(cè)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810090633.4
• 申請(qǐng)日: 2018-01-30
• 公開(kāi)（公告）號(hào): CN108304835B
• 公開(kāi)（公告）日: 2019-12-06
• 發(fā)明（設(shè)計(jì)）人: 劉家銘;章成全;韓鈞宇;丁二銳
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/34;G06K9/62;G06N3/08
• 代理公司: 11204 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司
• 代理人: 王達(dá)佐;馬曉亞<國(guó)際申請(qǐng)>=<國(guó)際公布>

1.一種文字檢測(cè)方法，包括：

采用文字檢測(cè)模型的特征提取網(wǎng)絡(luò)對(duì)待檢測(cè)圖像進(jìn)行多個(gè)抽象層級(jí)的特征提取；

基于提取出的所述待檢測(cè)圖像的特征，采用文字檢測(cè)模型的字符檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)出所述待檢測(cè)圖像中每個(gè)像素點(diǎn)為字符像素點(diǎn)的概率、以及每個(gè)像素點(diǎn)為字符像素點(diǎn)時(shí)該像素點(diǎn)相對(duì)于其所在的字符的包圍盒的位置信息；

基于每個(gè)像素點(diǎn)為字符像素點(diǎn)的概率以及每個(gè)像素點(diǎn)為字符像素點(diǎn)時(shí)該像素點(diǎn)相對(duì)于其所在的字符的包圍盒的位置信息確定出各候選字符的包圍盒的位置信息；

將提取出的所述待檢測(cè)圖像的特征輸入文字檢測(cè)模型的字符映射網(wǎng)絡(luò)，基于各候選字符的包圍盒的位置信息對(duì)所述字符映射網(wǎng)絡(luò)輸出的特征圖進(jìn)行變換，生成用于表征所述候選字符的特征的字符向量；

基于所述候選字符的包圍盒的位置信息，在所述待檢測(cè)圖像中確定各候選字符的近鄰候選字符，并根據(jù)利用字符向量計(jì)算得出的所述候選字符與對(duì)應(yīng)的近鄰候選字符之間的差異程度將各候選字符與相關(guān)的近鄰候選字符連接為字符組；

根據(jù)字符組中各候選字符的包圍盒的位置信息確定所述待檢測(cè)圖像的文字區(qū)域；

其中，所述基于每個(gè)像素點(diǎn)為字符像素點(diǎn)的概率以及每個(gè)像素點(diǎn)為字符像素點(diǎn)時(shí)該像素點(diǎn)相對(duì)于其所在的字符的包圍盒的位置信息確定出各候選字符的包圍盒的位置信息，包括：采用非極大值抑制法濾除各字符像素點(diǎn)定位出的字符的包圍盒的坐標(biāo)中被重復(fù)定位的字符的包圍盒的坐標(biāo)，得到各候選字符的包圍盒的坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述采用文字檢測(cè)模型的特征提取網(wǎng)絡(luò)對(duì)待檢測(cè)圖像進(jìn)行多個(gè)抽象層級(jí)的特征提取，包括：

將所述待檢測(cè)圖像輸入所述特征提取網(wǎng)絡(luò)中，抽取所述特征提取網(wǎng)絡(luò)的多個(gè)不同卷積層的輸出作為多個(gè)抽象層級(jí)的特征；

拼接多個(gè)抽象層級(jí)的特征，或利用特征金字塔網(wǎng)絡(luò)對(duì)多個(gè)抽象層次的特征進(jìn)行處理，生成所述待檢測(cè)圖像的特征。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述每個(gè)像素點(diǎn)為字符像素點(diǎn)時(shí)該像素點(diǎn)相對(duì)于其所在的字符的包圍盒的位置信息，包括：每個(gè)像素點(diǎn)為字符像素點(diǎn)時(shí)該像素點(diǎn)的坐標(biāo)相對(duì)于其所在的字符的矩形包圍盒的對(duì)角線上的兩個(gè)頂點(diǎn)坐標(biāo)的偏移量。

4.根據(jù)權(quán)利要求3所述的方法，其中，在采用非極大值抑制法濾除各字符像素點(diǎn)定位出的字符的包圍盒的坐標(biāo)中被重復(fù)定位的字符的包圍盒的坐標(biāo)，得到各候選字符的包圍盒的坐標(biāo)之前，所述基于每個(gè)像素點(diǎn)為字符像素點(diǎn)的概率以及每個(gè)像素點(diǎn)為字符像素點(diǎn)時(shí)該像素點(diǎn)相對(duì)于其所在的字符的包圍盒的位置信息確定出各候選字符的包圍盒的位置信息，還包括：

確定概率高于預(yù)設(shè)概率閾值的像素點(diǎn)為字符像素點(diǎn)；

基于確定出的各字符像素點(diǎn)的坐標(biāo)相對(duì)于其所在的字符的矩形包圍盒的對(duì)角線上的兩個(gè)頂點(diǎn)的坐標(biāo)的偏移量，確定由所述字符像素點(diǎn)定位出的字符的包圍盒的坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述候選字符的包圍盒的位置信息，在所述待檢測(cè)圖像中確定各候選字符的近鄰候選字符，包括：

采用K近鄰算法，基于各候選字符的包圍盒的位置信息對(duì)候選字符進(jìn)行分類，根據(jù)分類結(jié)果確定各候選字符的近鄰候選字符；以及

所述根據(jù)利用字符向量計(jì)算得出的所述候選字符與對(duì)應(yīng)的近鄰候選字符之間的差異程度將各候選字符與相關(guān)的近鄰候選字符連接為字符組，包括：

計(jì)算所述候選字符的字符向量與對(duì)應(yīng)的各近鄰候選字符的字符向量之間的歐式距離，作為所述候選字符與對(duì)應(yīng)的各近鄰候選字符之間的差異程度；

將與所述候選字符之間的差異程度小于預(yù)設(shè)差異度閾值的近鄰候選字符作為與所述候選字符相關(guān)的近鄰候選字符，將各候選字符與相關(guān)的近鄰候選字符連接為字符組。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)字符組中各候選字符的包圍盒的位置信息確定所述待檢測(cè)圖像的文字區(qū)域，包括：

基于所述字符組中各候選字符的包圍盒的位置信息劃定環(huán)繞所述字符組中所有字符的包圍線作為所述待檢測(cè)圖像的文字區(qū)域。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其中，所述方法還包括：

采用機(jī)器學(xué)習(xí)方法，基于樣本圖像訓(xùn)練所述文字檢測(cè)模型。