[發(fā)明專利]模型訓(xùn)練方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110208857.2
• 申請(qǐng)日: 2021-02-24
• 公開（公告）號(hào): CN112883180A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 毛晨思;任宇翔;吳邊;孟海忠
• 申請(qǐng)（專利權(quán)）人: 掛號(hào)網(wǎng)（杭州）科技有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06K9/62;G16H10/60;G16H50/20;G16H50/70;G16H80/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種模型訓(xùn)練方法，其特征在于，包括：

獲取用于訓(xùn)練第一待訓(xùn)練模型的訓(xùn)練樣本集，所述訓(xùn)練樣本集中包括基于對(duì)話問診生成的歷史對(duì)話數(shù)據(jù)子集和/或用于描述病癥的文本數(shù)據(jù)子集；

根據(jù)預(yù)設(shè)規(guī)則，提取出所述訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本數(shù)據(jù)的訓(xùn)練標(biāo)簽；其中，所述預(yù)設(shè)規(guī)則包括預(yù)設(shè)掩碼集合中的掩碼文字和/或根據(jù)文本數(shù)據(jù)確定的句子位置信息；

基于所述訓(xùn)練樣本數(shù)據(jù)和與所述訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練標(biāo)簽，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，得到第一目標(biāo)模型；

其中，所述第一目標(biāo)模型用于對(duì)輸入的目標(biāo)數(shù)據(jù)進(jìn)行處理，得到與所述目標(biāo)數(shù)據(jù)相對(duì)應(yīng)的數(shù)據(jù)處理結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述第一目標(biāo)模型中的待訓(xùn)練模型參數(shù)，并將所述待訓(xùn)練模型參數(shù)作為第二待訓(xùn)練模型的模型參數(shù)；

基于預(yù)設(shè)數(shù)量的區(qū)域訓(xùn)練樣本數(shù)據(jù)對(duì)所述第二待訓(xùn)練模型進(jìn)行模型校正訓(xùn)練，并將所述第二待訓(xùn)練模型中的目標(biāo)損失函數(shù)收斂作為訓(xùn)練目標(biāo)，訓(xùn)練得到第二目標(biāo)模型；

其中，所述第二目標(biāo)模型用于對(duì)所述區(qū)域訓(xùn)練樣本數(shù)據(jù)所屬的區(qū)域數(shù)據(jù)進(jìn)行處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓(xùn)練樣本集為所述歷史對(duì)話數(shù)據(jù)子集，所述根據(jù)預(yù)設(shè)規(guī)則，提取出所述訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本數(shù)據(jù)的訓(xùn)練標(biāo)簽，包括：

根據(jù)預(yù)設(shè)掩碼集合中的掩碼文字，提取出所述歷史對(duì)話數(shù)據(jù)子集中每個(gè)訓(xùn)練樣本數(shù)據(jù)的待掩碼文字，并將所述待掩碼文字作為相應(yīng)訓(xùn)練樣本數(shù)據(jù)的訓(xùn)練標(biāo)簽。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓(xùn)練樣本集為所述文本數(shù)據(jù)子集，所述文本數(shù)據(jù)子集中包括多個(gè)待訓(xùn)練文本數(shù)據(jù)，所述根據(jù)預(yù)設(shè)規(guī)則，提取出所述訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本數(shù)據(jù)的訓(xùn)練標(biāo)簽，包括：

針對(duì)每個(gè)待訓(xùn)練文本數(shù)據(jù)，提取出當(dāng)前待訓(xùn)練文本數(shù)據(jù)中的各個(gè)目標(biāo)語(yǔ)句，確定每個(gè)目標(biāo)語(yǔ)句在所述文本數(shù)據(jù)中的順序位置信息，并將所述順序位置信息作為所述當(dāng)前待訓(xùn)練文本數(shù)據(jù)的訓(xùn)練標(biāo)簽；

其中，所述多個(gè)待訓(xùn)練文本數(shù)據(jù)包括：正樣本數(shù)據(jù)和負(fù)樣本數(shù)據(jù)，所述正樣本數(shù)據(jù)為句子的順序位置信息正向排布的數(shù)據(jù)；所述負(fù)樣本數(shù)據(jù)為句子的順序位置信息為非正向排布的數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述訓(xùn)練樣本數(shù)據(jù)和與所述訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練標(biāo)簽，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，得到第一目標(biāo)模型，包括：

將所述訓(xùn)練樣本數(shù)據(jù)輸入到所述第一待訓(xùn)練模型中，得到與所述訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)訓(xùn)練結(jié)果；

基于所述預(yù)測(cè)訓(xùn)練結(jié)果和與所述訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練標(biāo)簽，計(jì)算總損失函數(shù)的函數(shù)值，根據(jù)計(jì)算結(jié)果對(duì)所述第一待訓(xùn)練模型中的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整；所述總損失函數(shù)是基于兩個(gè)子損失函數(shù)確定的；

將總預(yù)設(shè)損失函數(shù)達(dá)到收斂作為訓(xùn)練目標(biāo)，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，以得到所述第一目標(biāo)模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述訓(xùn)練樣本集包括基于對(duì)話問診生成的歷史對(duì)話數(shù)據(jù)子集，所述歷史對(duì)話數(shù)據(jù)子集包括多個(gè)歷史對(duì)話數(shù)據(jù)，所述第一待訓(xùn)練模型包括對(duì)話數(shù)據(jù)處理子模型，相應(yīng)的，與所述對(duì)話數(shù)據(jù)處理子模型對(duì)應(yīng)的子損失函數(shù)為對(duì)話數(shù)據(jù)處理?yè)p失函數(shù)；

所述基于所述訓(xùn)練樣本數(shù)據(jù)和與所述訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練標(biāo)簽，對(duì)所述第一待訓(xùn)練模型進(jìn)行訓(xùn)練，得到第一目標(biāo)模型，包括：

將所述多個(gè)歷史對(duì)話數(shù)據(jù)輸入到所述對(duì)話數(shù)據(jù)處理子模型中，得到與所述多個(gè)歷史對(duì)話數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)訓(xùn)練結(jié)果；

基于與所述多個(gè)歷史對(duì)話數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)訓(xùn)練結(jié)果和與所述多個(gè)歷史對(duì)話數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練標(biāo)簽，計(jì)算所述對(duì)話數(shù)據(jù)處理?yè)p失函數(shù)的函數(shù)值，根據(jù)計(jì)算結(jié)果對(duì)所述對(duì)話數(shù)據(jù)處理子模型中的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整；所述對(duì)話數(shù)據(jù)處理?yè)p失函數(shù)是基于待掩膜文字的預(yù)測(cè)概率確定的；

將預(yù)設(shè)對(duì)話數(shù)據(jù)處理?yè)p失函數(shù)達(dá)到收斂作為訓(xùn)練目標(biāo)，對(duì)所述對(duì)話數(shù)據(jù)處理子模型進(jìn)行訓(xùn)練，以得到所述對(duì)話數(shù)據(jù)處理子模型。