[發(fā)明專利]一種復(fù)雜自然場景圖像中的文字檢測方法

在審

• 申請?zhí)枺?/td>: 202011292690.4
• 申請日: 2020-11-18
• 公開（公告）號: CN112418216A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 王潤民;李秀梅;張翔宇;徐尉翔;錢盛友
• 申請（專利權(quán)）人: 湖南師范大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京保識知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11874
• 代理人: 尹瑩瑩

1.一種復(fù)雜自然場景圖像中的文字檢測方法，其特征在于，包括以下步驟：

S1、進(jìn)行圖像數(shù)據(jù)預(yù)處理，準(zhǔn)備好包含不同形狀文字圖像的數(shù)據(jù)集；

S2、構(gòu)建網(wǎng)絡(luò)框架采用基于批量規(guī)格化的VGG-16的全卷積網(wǎng)絡(luò)架構(gòu)作為骨干，模型在譯碼部分有跳過連接，與U-net類似，因為它聚合低級特性，對于VGG-16，使用4個上采樣比的卷積特征圖作為最終的卷積圖，最終輸出有兩個分支：字符檢測分支和文字行檢測分支；圖像首先送入一個全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，再由文字判別模塊對輸入文字框進(jìn)行文字檢測；

S3、對模型進(jìn)行預(yù)訓(xùn)練，引入信息遷移機(jī)制對模型進(jìn)行預(yù)訓(xùn)練；

S4、訓(xùn)練網(wǎng)絡(luò)框架：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)來預(yù)測字符區(qū)域；

S5、生成文字真實標(biāo)簽：對于每一幅訓(xùn)練圖像，我們使用字符級邊界框生成字符區(qū)域得分，字符區(qū)域得分表示給定像素為字符中心的概率；

S6、輸入一張待檢測的自然場景下的文字圖像；

S7、將S6中的文字圖像首先送入S2中的全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，再由文字判別模塊對輸入文字框進(jìn)行文字檢測；

S8、根據(jù)判定結(jié)果決定將圖像送入文字行檢測分支或字符檢測分支；

S9、文字校正模塊，可以自然地添加到端到端的文字識別方法使用，將任意形狀的文字矯正成水平形狀的文字，以方便后續(xù)的識別操作；首先我們將文字表現(xiàn)形式擬合三種文字線模型，其復(fù)雜度不斷增加；首先是零階模型：文字行可以是水平的，也可以是垂直的；第二是一階模型：文字行可以任意方向定位；第三是分段線性模型，文字行用一個有限多邊形表示，任何形狀的文字都可由一組中心線{l_i}ⁿi＝1和一個高度值h表示，其中l(wèi)_i＝(a_i,b_i,c_i)表示一條a_ix+b_iy+c_i＝0的線；

對于零階和一階模型，利用所有字符的中心坐標(biāo)(n＝1)來估計一條中心線，對于分段線性模型，利用每個字符的相鄰的字符k＝min(n,11)(n＝N,N表示字符數(shù))估計每兩個字符組成的N-1個線段，高度值h設(shè)為

其中G為所有字符角坐標(biāo)的集合，d(g,l_i)為點g與直線l_i之間的距離；

通過最小參數(shù)來選擇最佳的線模型D計算如下：

式中，h_d為模型D的高度估計值，h_d越小，表明模型擬合越好；C_d為模型復(fù)雜度懲罰，對零階、一階和分段線性模型分別將模型復(fù)雜度懲罰分別設(shè)為1.0，1.2和1.4，然后對文字進(jìn)校正。

2.根據(jù)權(quán)利要求1所述的一種復(fù)雜自然場景圖像中的文字檢測方法，其特征在于：所述S1中的數(shù)據(jù)集包括：ICDAR2013、ICDAR2015、ICDAR2017、CTW-1500、MSRA-TD500、VGGSynthText-part。

3.根據(jù)權(quán)利要求1所述的一種復(fù)雜自然場景圖像中的文字檢測方法，其特征在于：所述S4中由于S3中引入信息遷移機(jī)制對模型進(jìn)行預(yù)訓(xùn)練，因此采用S1中準(zhǔn)備好的ICDAR2013、ICDAR2015和ICDAR2017作為訓(xùn)練數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的一種復(fù)雜自然場景圖像中的文字檢測方法，其特征在于：所述S4中訓(xùn)練網(wǎng)絡(luò)框架包括以下步驟：首先使用SynthText-part數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行50k迭代訓(xùn)練，然后使用每個基準(zhǔn)數(shù)據(jù)集對模型進(jìn)行微調(diào)；在訓(xùn)練時，將s_conf(w)設(shè)置為0，忽略ICDAR2015和ICDAR2017數(shù)據(jù)集中的非文字區(qū)域，我們在所有訓(xùn)練過程中使用ADAM優(yōu)化器。在微調(diào)期間，還以1：5的比率使用SynthText-part數(shù)據(jù)集，以確保字符區(qū)域確實是分開的，為了在自然場景中過濾出類似紋理的文字，在線硬負(fù)挖掘按1：3的比例應(yīng)用，此外，還應(yīng)用了基本的數(shù)據(jù)增廣技術(shù)，如采用但不限于采用裁剪、旋轉(zhuǎn)和/或顏色變化等數(shù)據(jù)增廣技術(shù)。