[發明專利]一種檢測自然場景中彎曲文本的曲線擬合的方法

在審

• 申請號: 202010584515.6
• 申請日: 2020-06-23
• 公開（公告）號: CN111967463A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 徐健鋒;鄒偉康;劉瀾;吳俊杰;江飛翔;楊迎方
• 申請（專利權）人: 南昌大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06N3/04;G06N3/08
• 代理公司: 南昌金軒知識產權代理有限公司 36129
• 代理人: 黨沖

1.一種自然場景彎曲文本的檢測方法，其特征在于，包括以下步驟：

S1:獲取包含彎曲文本的自然場景圖片的圖像數據集；

S2:利用將VGG-16網絡中的所有全連接層改為卷積層的全卷積神經網絡對步驟S1中獲得的圖像數據集進行特征提取，得到特征圖；

S3:對步驟S2中的特征圖進行卷積處理得到段和鏈接；

S4:取步驟S3中每個段的上下中心點，將其擬合成上下兩條曲線并與末端段兩側邊界連接形成一個封閉區域，得到的區域即為文本檢測框；

S5:輸出步驟S4中的文本檢測框。

2.根據權利要求1所述的一種自然場景彎曲文本的檢測方法，其特征在于，步驟S1中，所述圖像數據集為已有的公共的場景曲線文本圖像數據集，或者臨時采集場景中的曲線文本圖像數據集，所述圖像數據集中包含有N張訓練圖片，每張訓練圖片中至少有一個曲線文本區域，并且有一個以矩形或者多邊形的頂點坐標來描述圖片中所有文本區域位置信息的標注文件，所述標注文件稱為標簽。

3.根據權利要求1所述的一種自然場景彎曲文本的檢測方法，其特征在于，步驟S2中，使用一個預先訓練好的VGG-16網絡作為骨干網的網絡結構；

在SSD之后，將VGG-16的全連接層轉換為卷積層；

接著是一些額外的卷積層，它們可以用更大的感受野提取更深層次的特征。

4.根據權利要求1所述的一種自然場景彎曲文本的檢測方法，其特征在于，步驟S3中，段是定向框，用s＝(xs，ys，ws，hs，θs)表示；

通過估計輸入圖像上一組默認框的置信度得分和幾何偏移來檢測段；

每個默認框都與一個特征圖位置相關聯，它的得分和偏移量將根據該位置的特征進行預測。

5.根據權利要求4所述的一種自然場景彎曲文本的檢測方法，其特征在于，一個鏈接連接一對相鄰的段，表示它們屬于同一個單詞；

鏈接不僅是將段組合成完整單詞所必需的，而且有助于分隔兩個相鄰單詞-在兩個相鄰單詞之間，鏈接應該被預測為否定的；

使用相同的特征來顯式地檢測段之間的鏈接，由于在一個特征圖位置上只檢測到一個段，段可以通過它們的特征圖位置和層索引l進行索引；

當局部檢測到段時，一對相鄰的段在輸入圖像上也相鄰，卷積預測器也可以檢測到鏈接，一個預測器為連接到8個相鄰段的鏈接，輸出為16個通道，每2個通道均經過softmax歸一化以獲得鏈接得分。

6.根據權利要求5所述的一種自然場景彎曲文本的檢測方法，其特征在于，以跨層鏈接將兩個特征層上的段與相鄰的索引連接起來；

這種對的一個重要特性是，由于它們之間的下采樣層，第一層的大小總是第二層的兩倍，只有當所有特征層的大小都為偶數時，此特性才有效；

跨層鏈接由卷積預測器檢測，預測器輸出8個跨層鏈接通道，每2個通道被softmax歸一化，以產生一個跨層鏈接的分數，在特征層l＝2，…，6上檢測到跨層鏈接，但在l＝1上檢測不到跨層鏈接，因為它沒有優先的特征層。

7.根據權利要求6所述的一種自然場景彎曲文本的檢測方法，其特征在于，跨層鏈接，可以連接不同比例的段，然后進行組合，與傳統的非最大抑制相比，跨層連接提供了一種可訓練的冗余連接方式。

8.如權利要求1所述的檢測自然場景中彎曲文本的曲線擬合的方法，其特征在于，步驟S4中，在卷積預測器檢測到段和鏈接之后，可以利用最小二乘擬合曲線的方法來計算出邊界框；

對于段上下邊界中點p_i,p_j，要尋找y與x之間的近似函數關系用近似描述已知數據(x_i,y_i)(i＝0,1,2...,m)，不必要求在每個點x_i處，誤差都為0，只需在所有點處的某種總體誤差最小即可；

設給定基函數在集合中尋求形如的函數，使其近似已知數據。

9.如權利要求1所述的檢測自然場景中彎曲文本的曲線擬合的方法，其特征在于，步驟S5中，根據上述步驟輸出由曲線c1，c2和直線方程l1，l2圍成的區域c*＝(c1,c2,l1,l2)。