[發(fā)明專利]一種基于嵌入雙邊卷積激活的場景文字識別方法

有效

• 申請?zhí)枺?/td>: 201710959628.8
• 申請日: 2017-10-16
• 公開（公告）號: CN107622267B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 張重;王紅;劉爽
• 申請（專利權(quán)）人: 天津師范大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中政聯(lián)科專利代理事務(wù)所(普通合伙) 11489
• 代理人: 陳超

1.一種基于嵌入雙邊卷積激活的場景文字識別方法，其特征在于，該方法包括以下步驟：

步驟S1，將訓(xùn)練場景文字圖像輸入至預(yù)先訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)中，得到卷積激活描述子；

步驟S2，利用所述訓(xùn)練場景文字圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)中輸出得到的卷積層，得到雙邊卷積激活圖；

步驟S3，利用所述雙邊卷積激活圖對所述卷積激活描述子進(jìn)行編碼，得到所述訓(xùn)練場景文字圖像的特征向量；

步驟S4，基于所述訓(xùn)練場景文字圖像的特征向量，利用線性支持向量機進(jìn)行訓(xùn)練，得到場景文字識別分類模型；

步驟S5，按照所述步驟S1-S3獲取測試場景文字圖像的特征向量，輸入至所述場景文字識別分類模型得到場景文字識別結(jié)果；

所述步驟S1包括：

步驟S11，將所述訓(xùn)練場景文字圖像的大小歸一化為H×W，其中，H和W分別表示訓(xùn)練場景文字圖像的高度和寬度；

步驟S12，將所述訓(xùn)練場景文字圖像輸入至所述卷積神經(jīng)網(wǎng)絡(luò)中，選擇所述卷積神經(jīng)網(wǎng)絡(luò)中的一個卷積層，得到卷積激活圖H_C×W_C×N，其中，H_C和W_C分別表示卷積激活圖的高度和寬度，N表示卷積激活圖的數(shù)目；

步驟S13，從N個卷積激活圖的相同位置處提取元素，得到H_C×W_C個N維的卷積激活描述子；

所述步驟S2包括：

步驟S21，獲取所述卷積激活圖H_C×W_C×N；

步驟S22，將N個大小為H_C×W_C的卷積圖的對應(yīng)位置元素相加，得到卷積求和圖；

步驟S23，基于所述卷積求和圖，得到雙邊卷積激活圖；

所述卷積求和圖表示為：

其中，C_i表示卷積求和圖的第i個激活響應(yīng)，表示卷積層中的第n個卷積圖的第i個激活響應(yīng)，N是該卷積層中卷積激活圖的總數(shù)目；

所述雙邊卷積激活圖表示為：

其中，i和j為表示卷積激活圖中激活響應(yīng)的索引，O_j表示雙邊卷積激活圖，B_ij為C_i的權(quán)重系數(shù)；

所述權(quán)重系數(shù)B_ij表示為：

其中，L_i和L_j分別是激活響應(yīng)C_i和C_j對應(yīng)的位置信息，α是一個用來調(diào)整空間相似度影響的參數(shù)，σ₁是用來控制兩個激活響應(yīng)的差值對B_ij影響的參數(shù)，σ₂是用來控制兩個激活響應(yīng)的空間距離對B_ij影響的參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3包括：

步驟S31，通過高斯混合模型對于所述卷積激活描述子進(jìn)行編碼，得到多個高斯成分的均值向量的梯度向量和多個高斯成分的協(xié)方差向量的梯度向量；

步驟S32，將所有高斯成分的均值向量和協(xié)方差向量的梯度向量組合，得到每幅訓(xùn)練場景文字圖像的特征向量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟S31中，利用下式對于所述卷積激活描述子進(jìn)行編碼：

其中，x_j表示從卷積圖中提取得到的卷積激活描述子，M表示一幅場景文字圖像中卷積激活描述子的總數(shù)目，w_k，μ_k和σ_k分別表示高斯混合模型中第k個高斯分量的權(quán)重，均值向量和協(xié)方差向量，φ_j(k)表示卷積激活描述子x_j分配到第k個高斯分量的權(quán)重，f_μk表示第k個高斯成分的均值向量的梯度向量；f_σk表示第k個高斯成分的協(xié)方差向量的梯度向量。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，每幅訓(xùn)練場景文字圖像的特征向量表示為：

F＝(f_μ1,f_σ1,f_μ2,f_σ2,...,f_μk,f_σk,...,f_μK,f_σK)，

其中，K表示高斯混合模型中高斯分量的總數(shù)目，F(xiàn)表示所述訓(xùn)練場景文字圖像最終的特征向量。