[發(fā)明專利]一種文本數(shù)據(jù)處理方法、裝置和相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202110400491.9
• 申請日: 2021-04-14
• 公開（公告）號: CN113705552A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計）人: 劉皓
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例公開了一種文本數(shù)據(jù)處理方法、裝置和相關(guān)設(shè)備，該方法包括：獲取用于訓練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片；通過遞歸注意力網(wǎng)絡(luò)確定第一樣本碎片與樣本圖片之間的第一圖文關(guān)系特征，基于第一圖文關(guān)系特征輸出用于添加至記憶網(wǎng)絡(luò)的第一預(yù)測文本；將第一預(yù)測文本作為第二樣本碎片的訓練輔助文本，且通過遞歸注意力網(wǎng)絡(luò)確定第二樣本碎片與樣本圖片之間的第二圖文關(guān)系特征，基于第二圖文關(guān)系特征輸出用于添加至記憶網(wǎng)絡(luò)的第二預(yù)測文本；基于記憶網(wǎng)絡(luò)中的第一預(yù)測文本和第二預(yù)測文本，訓練初始網(wǎng)絡(luò)模型，以得到用于對目標圖片進行文本識別的目標網(wǎng)絡(luò)模型。采用本申請，可以提高對文本識別的準確度。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種文本數(shù)據(jù)處理方法、裝置和相關(guān)設(shè)備。

背景技術(shù)

目前，在對某些圖片進行文本識別的過程中，往往會使用基于深度學習的文本識別方法。但是，在使用基于深度學習的識別方法(例如，使用循環(huán)神經(jīng)網(wǎng)絡(luò))對文本進行識別的過程中，文本識別的準確度往往會受限于文本區(qū)域中的文本內(nèi)容的長度。

比如，一旦整個圖片的文本區(qū)域中的文本內(nèi)容過長，則會因為循環(huán)神經(jīng)網(wǎng)絡(luò)自身固有的屬性問題，造成文本區(qū)域的后半段文本內(nèi)容中的信息的丟失，且信息的丟失會隨著文本內(nèi)容的長度的增長而越發(fā)嚴重。由此可見，在使用基于深度學習的識別方法(例如，使用循環(huán)神經(jīng)網(wǎng)絡(luò))對文本進行識別的過程中，會出現(xiàn)長時遺忘的問題，進而導(dǎo)致文本識別錯誤的現(xiàn)象，以至于降低了對圖片中的文本進行識別的準確度。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N文本數(shù)據(jù)處理方法、裝置和相關(guān)設(shè)備，可以提高對圖片進行文本識別的準確率。

本申請實施例一方面提供一種文本數(shù)據(jù)處理方法，包括：

獲取攜帶樣本訓練標簽的樣本圖片，對訓練樣本標簽所指示的訓練文本信息進行文本切分，得到用于訓練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片；第二樣本碎片為第一樣本碎片的下一樣本碎片；

將第一樣本碎片的第一樣本文本特征與樣本圖片的樣本圖像特征輸入初始網(wǎng)絡(luò)模型中的遞歸注意力網(wǎng)絡(luò)，通過遞歸注意力網(wǎng)絡(luò)確定第一樣本碎片與樣本圖片之間的第一圖文關(guān)系特征，基于第一圖文關(guān)系特征輸出第一樣本碎片的第一預(yù)測文本，將第一預(yù)測文本添加至初始網(wǎng)絡(luò)模型中的記憶網(wǎng)絡(luò)；

將記憶網(wǎng)絡(luò)中所存儲的第一預(yù)測文本作為第二樣本碎片的訓練輔助文本，將訓練輔助文本所對應(yīng)的第一樣本文本特征、第二樣本文本特征、以及樣本圖像特征輸入遞歸注意力網(wǎng)絡(luò)，通過遞歸注意力網(wǎng)絡(luò)確定第二樣本碎片與樣本圖片之間的第二圖文關(guān)系特征，基于第二圖文關(guān)系特征輸出第二樣本碎片的第二預(yù)測文本，將第二預(yù)測文本添加至記憶網(wǎng)絡(luò)；

基于記憶網(wǎng)絡(luò)中的第一預(yù)測文本和第二預(yù)測文本，確定訓練文本信息的樣本預(yù)測標簽，基于樣本訓練標簽和樣本預(yù)測標簽，對初始網(wǎng)絡(luò)模型進行迭代訓練，將迭代訓練后的初始網(wǎng)絡(luò)模型作為用于對目標圖片進行文本識別的目標網(wǎng)絡(luò)模型。

本申請實施例一方面提供一種文本數(shù)據(jù)處理裝置，包括：

樣本圖片獲取模塊，用于獲取攜帶樣本訓練標簽的樣本圖片，對訓練樣本標簽所指示的訓練文本信息進行文本切分，得到用于訓練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片；第二樣本碎片為第一樣本碎片的下一樣本碎片；

第一關(guān)系確定模塊，用于將第一樣本碎片的第一樣本文本特征與樣本圖片的樣本圖像特征輸入初始網(wǎng)絡(luò)模型中的遞歸注意力網(wǎng)絡(luò)，通過遞歸注意力網(wǎng)絡(luò)確定第一樣本碎片與樣本圖片之間的第一圖文關(guān)系特征，基于第一圖文關(guān)系特征輸出第一樣本碎片的第一預(yù)測文本，將第一預(yù)測文本添加至初始網(wǎng)絡(luò)模型中的記憶網(wǎng)絡(luò)；

第二關(guān)系確定模塊，用于將記憶網(wǎng)絡(luò)中所存儲的第一預(yù)測文本作為第二樣本碎片的訓練輔助文本，將訓練輔助文本所對應(yīng)的第一樣本文本特征、第二樣本文本特征、以及樣本圖像特征輸入遞歸注意力網(wǎng)絡(luò)，通過遞歸注意力網(wǎng)絡(luò)確定第二樣本碎片與樣本圖片之間的第二圖文關(guān)系特征，基于第二圖文關(guān)系特征輸出第二樣本碎片的第二預(yù)測文本，將第二預(yù)測文本添加至記憶網(wǎng)絡(luò)；