[發(fā)明專利]基于答案采樣的機(jī)器閱讀理解模型訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811535115.5
• 申請(qǐng)日: 2018-12-14
• 公開（公告）號(hào): CN109635947B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 李健銓;劉小康;陳夏飛;晉耀紅;楊凱程;陳瑋;張樂樂;董銘慆
• 申請(qǐng)（專利權(quán)）人: 安徽省泰岳祥升軟件有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06F16/332
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11363
• 代理人: 逯長明;許偉群

1.一種基于答案采樣的機(jī)器閱讀理解模型訓(xùn)練方法，其特征在于，包括：

選取預(yù)設(shè)數(shù)目的樣本，作為訓(xùn)練集；

將所述訓(xùn)練集中的樣本數(shù)據(jù)輸入機(jī)器閱讀理解模型中，得到所述機(jī)器閱讀理解模型輸出的訓(xùn)練集中各問題對(duì)應(yīng)的答案，其中，包括答案的開始和結(jié)束位置、以及位于所述開始和結(jié)束位置的概率；

以最小化極大似然估計(jì)損失函數(shù)為目標(biāo)，調(diào)整所述機(jī)器閱讀理解模型的參數(shù)，得到基礎(chǔ)機(jī)器閱讀理解模型；

將所述訓(xùn)練集中的樣本數(shù)據(jù)輸入所述基礎(chǔ)機(jī)器閱讀理解模型中，得到所述基礎(chǔ)機(jī)器閱讀理解模型輸出的訓(xùn)練集中各問題對(duì)應(yīng)的答案；

以最小化最小風(fēng)險(xiǎn)訓(xùn)練損失函數(shù)為目標(biāo)，調(diào)整所述基礎(chǔ)機(jī)器閱讀理解模型的參數(shù)；

其中，所述最小風(fēng)險(xiǎn)訓(xùn)練損失函數(shù)R(θ)的計(jì)算公式為：

其中，x⁽ⁿ⁾為所述訓(xùn)練集中的問題，y為所述機(jī)器閱讀理解模型輸出的答案，P(y|x⁽ⁿ⁾；θ)為當(dāng)模型參數(shù)為θ時(shí)、所述機(jī)器閱讀理解模型輸出的答案概率值，Y(x⁽ⁿ⁾)為對(duì)應(yīng)x⁽ⁿ⁾的所述機(jī)器閱讀理解模型所有可能輸出答案的集合，S(x⁽ⁿ⁾)為通過k-top方式從Y(x⁽ⁿ⁾)進(jìn)行動(dòng)態(tài)的采樣得到的答案的集合，β為控制概率分布的超參數(shù)，Δ(y,y⁽ⁿ⁾)為所述機(jī)器閱讀理解模型輸出的答案與標(biāo)準(zhǔn)答案y⁽ⁿ⁾之間的差異程度；

所述極大似然估計(jì)損失函數(shù)L(θ)的計(jì)算公式為：

其中，θ為所述機(jī)器閱讀理解模型需要訓(xùn)練的所有參數(shù)，N為每次訓(xùn)練的樣本數(shù)目，表示第i個(gè)例子中真實(shí)的開始位置索引，表示第i個(gè)例子中真實(shí)的結(jié)束位置索引，表示第位置是開始位置的預(yù)測概率值，表示第位置是結(jié)束位置的預(yù)測概率值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S(x⁽ⁿ⁾)為從Y(x⁽ⁿ⁾)選取各問題對(duì)應(yīng)答案的概率值處于前16位的答案構(gòu)成的集合。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述Δ(y,y⁽ⁿ⁾)的計(jì)算公式為：

Δ(y,y⁽ⁿ⁾)＝1-rouge(y,y⁽ⁿ⁾)，其中，rouge的計(jì)算公式為：

X和Y為標(biāo)準(zhǔn)答案和模型輸出答案的文本序列，m為標(biāo)準(zhǔn)答案的長度，n為模型輸出答案的長度，γ為超參數(shù)，LCS為最長公共子序列。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，以最小化最小風(fēng)險(xiǎn)訓(xùn)練損失函數(shù)為目標(biāo)，調(diào)整所述基礎(chǔ)機(jī)器閱讀理解模型的參數(shù)之后，所述方法還包括：

當(dāng)對(duì)所述基礎(chǔ)機(jī)器閱讀理解模型的參數(shù)完成預(yù)設(shè)次數(shù)的調(diào)整后，則利用預(yù)設(shè)評(píng)價(jià)函數(shù)和選取的驗(yàn)證樣本，對(duì)訓(xùn)練后的基礎(chǔ)機(jī)器閱讀理解模型輸出答案的準(zhǔn)確性進(jìn)行評(píng)價(jià)；

判斷經(jīng)過預(yù)設(shè)次數(shù)的評(píng)價(jià)后，得到的評(píng)價(jià)指標(biāo)是否有提升；

如果沒有提升，則停止對(duì)所述機(jī)器閱讀理解模型的訓(xùn)練，得到最終的機(jī)器閱讀理解模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述預(yù)設(shè)評(píng)價(jià)函數(shù)包括ROUGE評(píng)價(jià)或BLEU評(píng)價(jià)。