[發(fā)明專利]一種文本數(shù)據(jù)處理方法、裝置和相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202110400491.9
• 申請日: 2021-04-14
• 公開（公告）號: CN113705552A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計）人: 劉皓
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種文本數(shù)據(jù)處理方法，其特征在于，包括：

獲取攜帶樣本訓練標簽的樣本圖片，對所述訓練樣本標簽所指示的訓練文本信息進行文本切分，得到用于訓練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片；所述第二樣本碎片為所述第一樣本碎片的下一樣本碎片；

將所述第一樣本碎片的第一樣本文本特征與所述樣本圖片的樣本圖像特征輸入所述初始網(wǎng)絡(luò)模型中的遞歸注意力網(wǎng)絡(luò)，通過所述遞歸注意力網(wǎng)絡(luò)確定所述第一樣本碎片與所述樣本圖片之間的第一圖文關(guān)系特征，基于所述第一圖文關(guān)系特征輸出所述第一樣本碎片的第一預測文本，將所述第一預測文本添加至所述初始網(wǎng)絡(luò)模型中的記憶網(wǎng)絡(luò)；

將所述記憶網(wǎng)絡(luò)中所存儲的所述第一預測文本作為所述第二樣本碎片的訓練輔助文本，將所述訓練輔助文本所對應(yīng)的所述第一樣本文本特征、所述第二樣本文本特征、以及所述樣本圖像特征輸入所述遞歸注意力網(wǎng)絡(luò)，通過所述遞歸注意力網(wǎng)絡(luò)確定所述第二樣本碎片與所述樣本圖片之間的第二圖文關(guān)系特征，基于所述第二圖文關(guān)系特征輸出所述第二樣本碎片的第二預測文本，將所述第二預測文本添加至所述記憶網(wǎng)絡(luò)；

基于所述記憶網(wǎng)絡(luò)中的所述第一預測文本和所述第二預測文本，確定所述訓練文本信息的樣本預測標簽，基于所述樣本訓練標簽和所述樣本預測標簽，對所述初始網(wǎng)絡(luò)模型進行迭代訓練，將迭代訓練后的初始網(wǎng)絡(luò)模型作為用于對目標圖片進行文本識別的目標網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取攜帶樣本訓練標簽的樣本圖片，對所述訓練樣本標簽所指示的訓練文本信息進行文本切分，得到用于訓練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片，包括：

獲取攜帶樣本訓練標簽的樣本圖片，基于文本切分參數(shù)對所述訓練樣本標簽所指示的訓練文本信息進行文本切分，得到所述訓練文本信息的樣本碎片集；所述樣本碎片集用于存儲對所述訓練文本信息進行文本切分所得到的所有樣本碎片；一個樣本碎片對應(yīng)一個樣本切分標識；一個樣本切分標識用于表征一個樣本碎片在所述訓練文本信息中的碎片位置；

基于每個樣本碎片的樣本切分標識，從所述樣本碎片集中獲取用于訓練初始網(wǎng)絡(luò)模型的第一樣本碎片，基于所述第一樣本碎片在所述訓練文本信息中的碎片位置，將所述第一樣本碎片的下一樣本碎片作為第二樣本碎片。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始網(wǎng)絡(luò)模型包含第一樣本分支模型和第二樣本分支模型；所述第二樣本分支模型包括語義提取網(wǎng)絡(luò)；所述方法還包括：

通過所述第一樣本分支模型提取所述樣本圖片的樣本圖像特性；

通過所述語義提取網(wǎng)絡(luò)確定所述第一樣本碎片的第一樣本文本特征，且通過所述語義提取網(wǎng)絡(luò)確定所述第二樣本碎片的第二樣本文本特征。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過所述語義提取網(wǎng)絡(luò)確定所述第一樣本碎片的第一樣本文本特征，且通過所述語義提取網(wǎng)絡(luò)確定所述第二樣本碎片的第二樣本文本特征，包括：

通過所述語義提取網(wǎng)絡(luò)，提取所述訓練文本信息的訓練文本特征；

基于所述第一樣本碎片在所述訓練文本信息中的碎片位置，在所述訓練文本特征中確定所述第一樣本碎片的碎片文本特征，且基于所述第二樣本碎片在所述訓練文本信息中的碎片位置，在所述訓練文本特征中確定所述第二樣本碎片的碎片文本特征；

將所述第一樣本碎片的碎片位置和所述第一樣本碎片中的碎片元素的元素位置作為所述第一樣本碎片的第一相對編碼位置信息，基于所述第一相對編碼位置信息對所述第一樣本碎片進行相對編碼，得到所述第一樣本碎片的相對位置特征，基于所述第一樣本碎片的碎片文本特征和所述第一樣本碎片的相對位置特征，得到所述第一樣本碎片的第一樣本文本特征；

將所述第二樣本碎片的碎片位置和所述第二樣本碎片中的碎片元素的元素位置作為所述第一樣本碎片的第二相對編碼位置信息，基于所述第二相對編碼位置信息對所述第二樣本碎片進行相對編碼，得到所述第二樣本碎片的相對位置特征，基于所述第二樣本碎片的碎片文本特征和所述第二樣本碎片的相對位置特征，得到所述第二樣本碎片的第二樣本文本特征。