[發(fā)明專利]圖像標(biāo)注方法及裝置、文字檢測方法及系統(tǒng)、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010088678.5
• 申請日: 2020-02-12
• 公開（公告）號: CN110929727A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計）人: 范森;劉世林;康青楊;楊李偉;吳桐;曾途
• 申請（專利權(quán)）人: 成都數(shù)聯(lián)銘品科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34
• 代理公司: 北京市領(lǐng)專知識產(chǎn)權(quán)代理有限公司 11590
• 代理人: 林輝輪

1.一種文本圖像標(biāo)注方法，其特征在于，包括以下步驟：

獲得待標(biāo)注的文字只沿水平方向排列的文本圖像和文字只沿豎直方向排列的文本圖像；

針對于每一個文本圖像，分別對其中的文字段和字符進(jìn)行位置標(biāo)注，并將字符與相應(yīng)的文字段進(jìn)行綁定；

針對于每一個文本圖像，利用字符位置信息和文字段與字符綁定的信息，按規(guī)則計算出同一文字段中相鄰字符的連接區(qū)域；

針對于每一個文本圖像，使用一張同原圖尺寸相同的空白圖像給字符位置打分，使用另一張同原圖尺寸相同的空白圖像給連接區(qū)域位置打分，得分服從二維高斯分布，以這兩張分?jǐn)?shù)熱力圖作為標(biāo)簽。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將第一象限水平夾角小于角度閾值的文字排列方式都視為水平排列，將第一象限水平夾角大于角度閾值的文字排列方式都視為豎直排列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別對文本圖像中的文字段和字符進(jìn)行位置標(biāo)注的步驟中，針對于文字只沿水平方向排列的圖像，沿著文字語序方向，將相鄰字符間距小于1個字符寬度的字符集作為一個文本行進(jìn)行標(biāo)注，標(biāo)注內(nèi)容是文本行在圖像上的外切四邊形的4個端點坐標(biāo)，然后再將文本行內(nèi)的每個字符的外切四邊形位置進(jìn)行標(biāo)注；

針對于文字只沿豎直方向排列的圖像，沿著文字語序方向，將間距小于1個字符高度的字符集作為一個文本列進(jìn)行標(biāo)注，標(biāo)注內(nèi)容是文本列在圖像上的外切四邊形的4個端點坐標(biāo)，再將文本列內(nèi)的每個字符的外切四邊形位置進(jìn)行標(biāo)注。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用字符位置信息和文字段與字符綁定的信息，按規(guī)則計算出同一文字段中相鄰字符的連接區(qū)域的步驟中，包括：

針對于文字只沿水平方向排列的圖像，將每個字符的外切四邊形上下兩邊的中點相連，得到該字符的一條線段，取該線段的部分記作中軸，將同一文本行中相鄰的兩個中軸連接起來得到一個四邊形，所述四邊形即為所述連接區(qū)域；

針對于文字只沿豎直方向排列的圖像，將每個字符外切四邊形左右兩邊的中點相連，得到該字符的一條線段，取該線段的部分記作中軸，將同一文本列中相鄰的兩個中軸連接起來得到一個四邊形，所述四邊形即為所述連接區(qū)域。

5.一種基于置信度熱力圖的文字檢測方法，其特征在于，包括以下步驟：

采用權(quán)利要求1-4任一所述方法對樣本圖像進(jìn)行標(biāo)注，得到對應(yīng)的標(biāo)簽圖；

利用樣本圖像及其對應(yīng)的標(biāo)簽圖進(jìn)行全卷積網(wǎng)絡(luò)模型訓(xùn)練，得到檢測模型；

將待檢測文本圖像輸入所述檢測模型中，輸出得到檢測結(jié)果。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，訓(xùn)練過程中，當(dāng)訓(xùn)練文字水平排列的數(shù)據(jù)集時，Y_link_Map_GT和Y_link_Map產(chǎn)生的損失不進(jìn)行反向傳輸；當(dāng)訓(xùn)練文字豎直排列的數(shù)據(jù)集時，X_link_Map_GT和X_link_Map產(chǎn)生的損失不進(jìn)行反向傳輸，Y_link_Map_GT和X_link_Map_GT為兩個標(biāo)簽圖像，Y_link_Map和X_link_Map為模型的兩個輸出圖像。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，將模型輸出的Score_Map圖像按照一定閾值進(jìn)行二值化，然后再對連通區(qū)域求得最小外切四邊形，即得文字所在區(qū)域，經(jīng)過本步驟處理后的Score_Map定義為score_map；將模型輸出的X_link_Map按照一定閾值進(jìn)行二值化，然后和score_map相與，再對連通區(qū)域求得最小外切四邊形，即得水平方向的文字段區(qū)域；將模型輸出的Y_link_Map按照一定閾值進(jìn)行二值化，然后和score_map相與，再對連通區(qū)域求得最小外切四邊形，即得豎直方向的文字段區(qū)域，Score_Map、Y_link_Map和X_link_Map分別為模型的三個輸出圖像。