[發(fā)明專利]一種機(jī)器閱讀理解模型的訓(xùn)練方法、裝置及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010908799.X
• 申請日: 2020-09-02
• 公開（公告）號: CN114201588A
• 公開（公告）日: 2022-03-18
• 發(fā)明（設(shè)計）人: 張高升
• 申請（專利權(quán)）人: 武漢TCL集團(tuán)工業(yè)研究院有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06K9/62;G06N3/04
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 陳專;謝松

1.一種機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述機(jī)器閱讀理解模型的訓(xùn)練方法包括以下步驟：

獲取經(jīng)過訓(xùn)練的第一機(jī)器閱讀理解模型以及預(yù)設(shè)的層次映射關(guān)系；

基于所述第一機(jī)器閱讀理解模型以及所述層次映射關(guān)系，構(gòu)建第二機(jī)器閱讀理解模型；其中，所述第二機(jī)器閱讀理解模型的層數(shù)小于所述第一機(jī)器閱讀理解模型的層數(shù)；

獲取訓(xùn)練集和目標(biāo)損失函數(shù)，通過所述訓(xùn)練集、目標(biāo)損失函數(shù)以及第一機(jī)器閱讀理解模型對所述第二機(jī)器閱讀理解模型訓(xùn)練，以得到經(jīng)過訓(xùn)練的第二機(jī)器閱讀理解模型，并將經(jīng)過訓(xùn)練的第二機(jī)器閱讀理解模型作為目標(biāo)機(jī)器閱讀理解模型。

2.根據(jù)權(quán)利要求1所述的機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述經(jīng)過訓(xùn)練的第一機(jī)器閱讀理解模型的訓(xùn)練步驟具體包括：

獲取第一訓(xùn)練集，并構(gòu)建語言模型；其中，所述第一訓(xùn)練集包括若干訓(xùn)練文本語料以及各訓(xùn)練文本語料對應(yīng)的問題；

將所述第一訓(xùn)練集輸入所述語言模型中，得到所述語言模型輸出的所述第一訓(xùn)練集中各問題對應(yīng)的答案；

以交叉熵?fù)p失函數(shù)為目標(biāo)，調(diào)整所述語言模型的參數(shù)，以使所述語言模型輸出的所述第一訓(xùn)練集中各問題對應(yīng)的答案與標(biāo)準(zhǔn)答案的交叉熵?fù)p失值不再變化停止訓(xùn)練；

所述第一訓(xùn)練集中各問題對應(yīng)的答案與標(biāo)準(zhǔn)答案的交叉熵?fù)p失值不再變化時所對應(yīng)的語言模型作為第一機(jī)器閱讀理解模型。

3.根據(jù)權(quán)利要求1所述的機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述第一機(jī)器閱讀理解模型的層級結(jié)構(gòu)包括輸入層、級聯(lián)的若干個交互層以及輸出層，所述第二機(jī)器閱讀理解模型的層級結(jié)構(gòu)包括輸入層、級聯(lián)的若干個交互層以及輸出層，其中，所述第二機(jī)器閱讀理解模型的交互層個數(shù)小于所述第一機(jī)器閱讀理解模型的交互層個數(shù)。

4.根據(jù)權(quán)利要求3所述的機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述預(yù)設(shè)的層次映射關(guān)系的函數(shù)公式為：

n＝g(m)，

當(dāng)m＝1時，n＝1；

當(dāng)m(M/2)時，n＝(m/2)+1；

當(dāng)m(M/2)時，n＝(m/2)-1；

其中，1≤m≤M，M表示第一機(jī)器閱讀理解模型中的交互層個數(shù)，m表示第一機(jī)器閱讀理解模型中若干交互層中第m層；1≤n≤N，N表示第二機(jī)器閱讀理解模型中的交互層個數(shù)，n表示第二機(jī)器閱讀理解模型中若干交互層中第n層。

5.根據(jù)權(quán)利要求4所述的機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述基于所述第一機(jī)器閱讀理解模型以及所述層次映射關(guān)系，構(gòu)建第二機(jī)器閱讀理解模型具體包括：

基于所述第一機(jī)器閱讀理解模型的輸入層和輸出層，確定所述第二機(jī)器閱讀理解模型對應(yīng)的輸入層和輸出層；

根據(jù)所述層次映射關(guān)系，確定所述第二機(jī)器閱讀理解模型中若干交互層的層數(shù)；其中，所述第二機(jī)器閱讀理解模型中的每一交互層均在所述第一機(jī)器閱讀理解模型中存在與其對應(yīng)的交互層。

6.根據(jù)權(quán)利要求1所述的機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述獲取目標(biāo)損失函數(shù)的步驟具體包括：

獲取第二訓(xùn)練集以及若干待測損失函數(shù)；其中，每一待測損失函數(shù)對應(yīng)的第二訓(xùn)練集相同；

基于同一第二訓(xùn)練集，通過所述若干待測損失函數(shù)分別對所述第一機(jī)器閱讀理解模型以及所述第二機(jī)器閱讀理解模型訓(xùn)練，得到每一待測損失函數(shù)對應(yīng)的訓(xùn)練結(jié)果；

根據(jù)訓(xùn)練結(jié)果確定目標(biāo)損失函數(shù)。

7.根據(jù)權(quán)利要求6所述的機(jī)器閱讀理解模型的訓(xùn)練方法，其特征在于，所述目標(biāo)損失函數(shù)為所述第二機(jī)器閱讀理解模型中各層損失值的加權(quán)和。