[發(fā)明專利]雙向表征自主迭代網絡下高表征遷移的中文圖像識別方法

在審

• 申請?zhí)枺?/td>: 202210267314.2
• 申請日: 2022-03-18
• 公開（公告）號: CN114581912A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設計）人: 利節(jié);吳仙海;張祥;顏定江;吳瑞;杜忠凱;覃銳;黃曉薇
• 申請（專利權）人: 重慶科技學院
• 主分類號: G06V30/10
• 分類號: G06V30/10;G06V10/20;G06N3/04;G06N3/08
• 代理公司: 重慶敏創(chuàng)專利代理事務所(普通合伙) 50253
• 代理人: 黃梅

本發(fā)明涉及中文圖像識別技術領域，具體公開了一種雙向表征自主迭代網絡下高表征遷移的中文圖像識別方法，首先對采集的不同自然場景下的英文圖片和中文圖片進行預處理，以增強訓練時的圖像數據的特征；然后通過雙向表征自主迭代網絡對英文數據集提取英文文本特征并生成相應的特征權重參數矩陣；進一步使用特征權重參數矩陣權重矩陣對中文識別網絡模型進行初始化，從而加快微調模型性能提高的速度；以及將英文文本特征遷移到中文識別網絡模型中，與根據中文數據集得到的中文文本特征相融合，生成新的中文文本特征參與下次卷積，依次類推，從而保證中文訓練時特征的多樣性，實現高表征遷移，識別率、運算速度、穩(wěn)定性、魯棒性顯著提高。

技術領域

本發(fā)明涉及中文圖像識別技術領域，具體公開了雙向表征自主迭代網絡下高表征遷移的中文圖像識別方法。

背景技術

文字是人類信息交流的主要媒介，是人類最偉大和最具影響力的發(fā)明之一，是人類文化、思想傳承的一種基本的表達方式和不可或缺的載體。日常生活中文字信息無處不在，它是我們認識和記錄這個世界的主要工具。隨著中國移動互聯(lián)網技術的飛速發(fā)展使得這類數據的傳播和分享更加便捷，許多新的應用場景都需要利用這些文本信息，尤其在信息智能化場景，隨著數碼相機、智能手機等具有拍照和攝像功能的便攜式電子設備的廣泛使用，大量的文本也以圖像或者視頻的數據方式被保存下來。因此，人們迫切希望利用計算機對圖像或視頻中的文本進行檢測識別，形成語義表達的方式對其進行理解。一方面可以提高各種應用場景的生產效率；另一方面這些文本可以作為描述場景的額外信息，輔助各類計算機視覺的實際應用任務。因此，文本的分析與處理越來越成為計算機視覺領域的研究熱點之一。

針對文檔文本中文圖像數據識別功能準確度不高問題，現多采用圖像數據增強等方式，但提升效果不明顯?；蚴褂没谏疃葘W習的中文圖像識別方法，但面臨著數據集小，識別網絡模型效果差等問題。

發(fā)明內容

本發(fā)明提供雙向表征自主迭代網絡下高表征遷移的中文圖像識別方法，解決的技術問題在于：如何提高中文圖像識別方法的識別效果。

為解決以上技術問題，本發(fā)明提供一種雙向表征自主迭代網絡下高表征遷移的中文圖像識別方法，包括步驟：

S1、采集不同自然場景下的英文圖片和中文圖片進行預處理后，得到對應的英文圖片數據集和中文圖片數據集，并對英文圖片數據集和中文圖片數據集進行文本提取，得到對應的英文文本數據集和中文文本數據集；

S2、采用英文圖片數據集及英文文本數據集對構建的雙向表征自主迭代網絡進行訓練，訓練完成后得到英文視覺特征、英文語義特征以及特征權重參數矩陣；

S3、通過遷移模塊將特征權重參數矩陣遷移至中文識別網絡模型，采用特征權重參數矩陣對構建的中文識別網絡模型的網絡參數進行初始化；

S4、采用中文圖片數據集及中文文本數據集、英文視覺特征、英文語義特征對初始化后的中文識別網絡模型進行訓練。

進一步地，在步驟S2中，雙向表征自主迭代網絡包括視覺模塊、語義模塊和融合模塊；

視覺模塊用于提取英文圖片數據集的英文視覺特征F_V；

語義模塊用于提取英文文本數據集的英文語義特征F_L；

融合模塊用于對英文視覺特征F_V和英文語義特征F_L進行融合后采用Softmax函數進行歸一化，其中融合后的特征為：

G＝σ([F_V,F_L]W_f)

其中，σ(·)表示使F_V和F_L的矩陣保持一致的函數，表示F_V和F_L的權重參數，T表示字符序列的長度，C是特征維數，R表示實數域。