[發(fā)明專利]一種機器閱讀理解模型的分階段訓(xùn)練方法及裝置

有效

• 申請?zhí)枺?/td>: 201811536824.5
• 申請日: 2018-12-14
• 公開（公告）號: CN109685212B
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計）人: 李健銓;劉小康;陳夏飛;晉耀紅;楊凱程;陳瑋;張樂樂;董銘慆
• 申請（專利權(quán)）人: 安徽省泰岳祥升軟件有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F16/332
• 代理公司: 北京弘權(quán)知識產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種機器閱讀理解模型的分階段訓(xùn)練方法，其特征在于，包括：

選取預(yù)設(shè)數(shù)目的樣本，作為訓(xùn)練集；

將所述訓(xùn)練集中的樣本數(shù)據(jù)輸入機器閱讀理解模型中，得到所述機器閱讀理解模型輸出的訓(xùn)練集中各問題對應(yīng)的答案，其中，包括答案的開始和結(jié)束位置、以及位于所述開始和結(jié)束位置的概率；

以最小化極大似然估計損失函數(shù)為目標，調(diào)整所述機器閱讀理解模型的參數(shù)，得到基礎(chǔ)機器閱讀理解模型；

將所述訓(xùn)練集中的樣本數(shù)據(jù)輸入所述基礎(chǔ)機器閱讀理解模型中，得到所述基礎(chǔ)機器閱讀理解模型輸出的訓(xùn)練集中各問題對應(yīng)的答案；

以最小化最小風(fēng)險訓(xùn)練損失函數(shù)為目標，調(diào)整所述基礎(chǔ)機器閱讀理解模型的參數(shù)；

其中，極大似然估計損失函數(shù)L(θ)，用于計算所述機器閱讀理解模型輸出的所述訓(xùn)練集中各問題對應(yīng)的最大概率答案的損失；最小風(fēng)險訓(xùn)練損失函數(shù)R(θ)，用于計算所述基礎(chǔ)機器閱讀理解模型輸出的所述訓(xùn)練集中各問題對應(yīng)的答案與標準答案之間的損失。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述最小風(fēng)險訓(xùn)練損失函數(shù)R(θ)的計算公式為：

其中，x⁽ⁿ⁾為所述訓(xùn)練集中的問題，y為所述機器閱讀理解模型輸出的答案，P(y|x⁽ⁿ⁾；θ)為當模型參數(shù)為θ時、所述機器閱讀理解模型輸出的答案概率值，Y(x⁽ⁿ⁾)為對應(yīng)x⁽ⁿ⁾的所述機器閱讀理解模型所有可能輸出答案的集合，Δ(y,y⁽ⁿ⁾)為所述機器閱讀理解模型輸出的答案與標準答案y⁽ⁿ⁾之間的差異程度，Δ(y,y⁽ⁿ⁾)＝1-rouge(y,y⁽ⁿ⁾)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述最小風(fēng)險訓(xùn)練損失函數(shù)R(θ)的計算公式為：

其中，x⁽ⁿ⁾為所述訓(xùn)練集中的問題，y為所述機器閱讀理解模型輸出的答案，P(y|x⁽ⁿ⁾；θ)為當模型參數(shù)為θ時、所述機器閱讀理解模型輸出的答案概率值，Y(x⁽ⁿ⁾)為對應(yīng)x⁽ⁿ⁾的所述機器閱讀理解模型所有可能輸出答案的集合，S(x⁽ⁿ⁾)為從Y(x⁽ⁿ⁾)采樣得到的答案的集合，β為控制概率分布的超參數(shù)，Δ(y,y⁽ⁿ⁾)為所述機器閱讀理解模型輸出的答案與標準答案y⁽ⁿ⁾之間的差異程度。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述S(x⁽ⁿ⁾)的采樣方法包括：

從Y(x⁽ⁿ⁾)選取距離各x⁽ⁿ⁾對應(yīng)的標準答案最近的k個答案。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述Δ(y,y⁽ⁿ⁾)的計算公式為：

Δ(y,y⁽ⁿ⁾)＝1-rouge(y,y⁽ⁿ⁾)，其中，rouge的計算公式為：

X和Y為標準答案和模型輸出答案的文本序列，m為標準答案的長度，n為模型輸出答案的長度，γ為超參數(shù)，LCS為最長公共子序列。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，以最小化最小風(fēng)險訓(xùn)練損失函數(shù)為目標，調(diào)整所述基礎(chǔ)機器閱讀理解模型的參數(shù)之后，所述方法還包括：

當對所述基礎(chǔ)機器閱讀理解模型的參數(shù)完成預(yù)設(shè)次數(shù)的調(diào)整后，則利用預(yù)設(shè)評價函數(shù)和選取的驗證樣本，對訓(xùn)練后的基礎(chǔ)機器閱讀理解模型輸出答案的準確性進行評價；

判斷經(jīng)過預(yù)設(shè)次數(shù)的評價后，得到的評價指標是否有提升；

如果沒有提升，則停止對所述機器閱讀理解模型的訓(xùn)練，得到最終的機器閱讀理解模型。