[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911149101.4
• 申請(qǐng)日: 2019-11-21
• 公開（公告）號(hào): CN110929532B
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 袁松嶺;文心杰;王曉利;伍海江
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 邢惠童

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取待篩選數(shù)據(jù)集，所述待篩選數(shù)據(jù)集包括多個(gè)待篩選的源語(yǔ)言數(shù)據(jù)；

基于目標(biāo)數(shù)據(jù)篩選模型，對(duì)所述待篩選數(shù)據(jù)集中的各個(gè)源語(yǔ)言數(shù)據(jù)進(jìn)行篩選，得到篩選后的源語(yǔ)言數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)篩選模型利用強(qiáng)化學(xué)習(xí)算法訓(xùn)練得到；

將所述篩選后的源語(yǔ)言數(shù)據(jù)作為目標(biāo)源語(yǔ)言數(shù)據(jù)，獲取與所述目標(biāo)源語(yǔ)言數(shù)據(jù)對(duì)應(yīng)的標(biāo)注語(yǔ)言數(shù)據(jù)，基于所述目標(biāo)源語(yǔ)言數(shù)據(jù)和所述標(biāo)注語(yǔ)言數(shù)據(jù)獲取機(jī)器翻譯模型；

所述方法還包括：

隨機(jī)初始化第一訓(xùn)練數(shù)據(jù)集，所述第一訓(xùn)練數(shù)據(jù)集包括多個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)；將所述隨機(jī)初始化的第一訓(xùn)練數(shù)據(jù)集劃分為至少一個(gè)目標(biāo)訓(xùn)練數(shù)據(jù)集；

獲取第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的目標(biāo)特征，所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集為所述至少一個(gè)目標(biāo)訓(xùn)練數(shù)據(jù)集中的第一個(gè)目標(biāo)訓(xùn)練數(shù)據(jù)集；

將所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的目標(biāo)特征輸入第一數(shù)據(jù)篩選模型，得到所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的篩選結(jié)果；基于所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的篩選結(jié)果，確定所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的權(quán)重值；

基于所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的目標(biāo)特征、篩選結(jié)果、權(quán)重值和第二目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的目標(biāo)特征，生成與所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的候選數(shù)據(jù)，所述第二目標(biāo)訓(xùn)練數(shù)據(jù)集為所述至少一個(gè)目標(biāo)訓(xùn)練數(shù)據(jù)集中的所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集的下一個(gè)目標(biāo)訓(xùn)練數(shù)據(jù)集；

選取目標(biāo)數(shù)量的候選數(shù)據(jù)，基于所述目標(biāo)數(shù)量的候選數(shù)據(jù)更新所述第一數(shù)據(jù)篩選模型的參數(shù)，得到更新后的第一數(shù)據(jù)篩選模型；

基于所述更新后的第一數(shù)據(jù)篩選模型返回將所述隨機(jī)初始化的第一訓(xùn)練數(shù)據(jù)集劃分為至少一個(gè)目標(biāo)訓(xùn)練數(shù)據(jù)集的步驟進(jìn)行迭代訓(xùn)練，直至滿足第二訓(xùn)練終止條件，得到第二數(shù)據(jù)篩選模型；

基于所述第二數(shù)據(jù)篩選模型返回隨機(jī)初始化第一訓(xùn)練數(shù)據(jù)集的步驟進(jìn)行迭代訓(xùn)練，直至滿足第一訓(xùn)練終止條件，得到所述目標(biāo)數(shù)據(jù)篩選模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的篩選結(jié)果，確定所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的權(quán)重值，包括：

對(duì)于所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的任一源語(yǔ)言訓(xùn)練數(shù)據(jù)，當(dāng)所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的篩選結(jié)果為第一結(jié)果時(shí)，將第一權(quán)重值作為所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的權(quán)重值；

當(dāng)所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的篩選結(jié)果為第二結(jié)果時(shí)，將第二權(quán)重值作為所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的權(quán)重值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述當(dāng)所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的篩選結(jié)果為第一結(jié)果時(shí)，將第一權(quán)重值作為所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的權(quán)重值之前，所述方法還包括：

獲取與每個(gè)目標(biāo)源語(yǔ)言訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的標(biāo)注語(yǔ)言訓(xùn)練數(shù)據(jù)，所述目標(biāo)源語(yǔ)言訓(xùn)練數(shù)據(jù)為篩選結(jié)果為第一結(jié)果的源語(yǔ)言訓(xùn)練數(shù)據(jù)；

將各個(gè)目標(biāo)源語(yǔ)言訓(xùn)練數(shù)據(jù)和與所述各個(gè)目標(biāo)源語(yǔ)言訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的各個(gè)標(biāo)注語(yǔ)言訓(xùn)練數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)添加至第二訓(xùn)練數(shù)據(jù)集中；

基于所述第二訓(xùn)練數(shù)據(jù)集對(duì)第一翻譯模型進(jìn)行訓(xùn)練，得到第二翻譯模型；

基于所述第二翻譯模型和所述第一翻譯模型，獲取所述第一權(quán)重值。

4.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，所述獲取第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的各個(gè)源語(yǔ)言訓(xùn)練數(shù)據(jù)的目標(biāo)特征，包括：

對(duì)于所述第一目標(biāo)訓(xùn)練數(shù)據(jù)集中的任一源語(yǔ)言訓(xùn)練數(shù)據(jù)，基于所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)中的各個(gè)子數(shù)據(jù)，獲取所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的第一特征；

基于所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)和第三翻譯模型，獲取所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的第二特征；

基于所述第一特征和所述第二特征，獲取所述任一源語(yǔ)言訓(xùn)練數(shù)據(jù)的目標(biāo)特征。