[發(fā)明專利]一種文本數(shù)據(jù)處理方法、裝置和相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110400491.9
• 申請(qǐng)日: 2021-04-14
• 公開(kāi)（公告）號(hào): CN113705552A
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 劉皓
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);杜維

1.一種文本數(shù)據(jù)處理方法，其特征在于，包括：

獲取攜帶樣本訓(xùn)練標(biāo)簽的樣本圖片，對(duì)所述訓(xùn)練樣本標(biāo)簽所指示的訓(xùn)練文本信息進(jìn)行文本切分，得到用于訓(xùn)練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片；所述第二樣本碎片為所述第一樣本碎片的下一樣本碎片；

將所述第一樣本碎片的第一樣本文本特征與所述樣本圖片的樣本圖像特征輸入所述初始網(wǎng)絡(luò)模型中的遞歸注意力網(wǎng)絡(luò)，通過(guò)所述遞歸注意力網(wǎng)絡(luò)確定所述第一樣本碎片與所述樣本圖片之間的第一圖文關(guān)系特征，基于所述第一圖文關(guān)系特征輸出所述第一樣本碎片的第一預(yù)測(cè)文本，將所述第一預(yù)測(cè)文本添加至所述初始網(wǎng)絡(luò)模型中的記憶網(wǎng)絡(luò)；

將所述記憶網(wǎng)絡(luò)中所存儲(chǔ)的所述第一預(yù)測(cè)文本作為所述第二樣本碎片的訓(xùn)練輔助文本，將所述訓(xùn)練輔助文本所對(duì)應(yīng)的所述第一樣本文本特征、所述第二樣本文本特征、以及所述樣本圖像特征輸入所述遞歸注意力網(wǎng)絡(luò)，通過(guò)所述遞歸注意力網(wǎng)絡(luò)確定所述第二樣本碎片與所述樣本圖片之間的第二圖文關(guān)系特征，基于所述第二圖文關(guān)系特征輸出所述第二樣本碎片的第二預(yù)測(cè)文本，將所述第二預(yù)測(cè)文本添加至所述記憶網(wǎng)絡(luò)；

基于所述記憶網(wǎng)絡(luò)中的所述第一預(yù)測(cè)文本和所述第二預(yù)測(cè)文本，確定所述訓(xùn)練文本信息的樣本預(yù)測(cè)標(biāo)簽，基于所述樣本訓(xùn)練標(biāo)簽和所述樣本預(yù)測(cè)標(biāo)簽，對(duì)所述初始網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，將迭代訓(xùn)練后的初始網(wǎng)絡(luò)模型作為用于對(duì)目標(biāo)圖片進(jìn)行文本識(shí)別的目標(biāo)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取攜帶樣本訓(xùn)練標(biāo)簽的樣本圖片，對(duì)所述訓(xùn)練樣本標(biāo)簽所指示的訓(xùn)練文本信息進(jìn)行文本切分，得到用于訓(xùn)練初始網(wǎng)絡(luò)模型的第一樣本碎片和第二樣本碎片，包括：

獲取攜帶樣本訓(xùn)練標(biāo)簽的樣本圖片，基于文本切分參數(shù)對(duì)所述訓(xùn)練樣本標(biāo)簽所指示的訓(xùn)練文本信息進(jìn)行文本切分，得到所述訓(xùn)練文本信息的樣本碎片集；所述樣本碎片集用于存儲(chǔ)對(duì)所述訓(xùn)練文本信息進(jìn)行文本切分所得到的所有樣本碎片；一個(gè)樣本碎片對(duì)應(yīng)一個(gè)樣本切分標(biāo)識(shí)；一個(gè)樣本切分標(biāo)識(shí)用于表征一個(gè)樣本碎片在所述訓(xùn)練文本信息中的碎片位置；

基于每個(gè)樣本碎片的樣本切分標(biāo)識(shí)，從所述樣本碎片集中獲取用于訓(xùn)練初始網(wǎng)絡(luò)模型的第一樣本碎片，基于所述第一樣本碎片在所述訓(xùn)練文本信息中的碎片位置，將所述第一樣本碎片的下一樣本碎片作為第二樣本碎片。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始網(wǎng)絡(luò)模型包含第一樣本分支模型和第二樣本分支模型；所述第二樣本分支模型包括語(yǔ)義提取網(wǎng)絡(luò)；所述方法還包括：

通過(guò)所述第一樣本分支模型提取所述樣本圖片的樣本圖像特性；

通過(guò)所述語(yǔ)義提取網(wǎng)絡(luò)確定所述第一樣本碎片的第一樣本文本特征，且通過(guò)所述語(yǔ)義提取網(wǎng)絡(luò)確定所述第二樣本碎片的第二樣本文本特征。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過(guò)所述語(yǔ)義提取網(wǎng)絡(luò)確定所述第一樣本碎片的第一樣本文本特征，且通過(guò)所述語(yǔ)義提取網(wǎng)絡(luò)確定所述第二樣本碎片的第二樣本文本特征，包括：

通過(guò)所述語(yǔ)義提取網(wǎng)絡(luò)，提取所述訓(xùn)練文本信息的訓(xùn)練文本特征；

基于所述第一樣本碎片在所述訓(xùn)練文本信息中的碎片位置，在所述訓(xùn)練文本特征中確定所述第一樣本碎片的碎片文本特征，且基于所述第二樣本碎片在所述訓(xùn)練文本信息中的碎片位置，在所述訓(xùn)練文本特征中確定所述第二樣本碎片的碎片文本特征；

將所述第一樣本碎片的碎片位置和所述第一樣本碎片中的碎片元素的元素位置作為所述第一樣本碎片的第一相對(duì)編碼位置信息，基于所述第一相對(duì)編碼位置信息對(duì)所述第一樣本碎片進(jìn)行相對(duì)編碼，得到所述第一樣本碎片的相對(duì)位置特征，基于所述第一樣本碎片的碎片文本特征和所述第一樣本碎片的相對(duì)位置特征，得到所述第一樣本碎片的第一樣本文本特征；

將所述第二樣本碎片的碎片位置和所述第二樣本碎片中的碎片元素的元素位置作為所述第一樣本碎片的第二相對(duì)編碼位置信息，基于所述第二相對(duì)編碼位置信息對(duì)所述第二樣本碎片進(jìn)行相對(duì)編碼，得到所述第二樣本碎片的相對(duì)位置特征，基于所述第二樣本碎片的碎片文本特征和所述第二樣本碎片的相對(duì)位置特征，得到所述第二樣本碎片的第二樣本文本特征。