[發明專利]模型訓練、閱讀理解方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110661685.4
• 申請日: 2021-06-15
• 公開（公告）號: CN113486174B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 劉操;馬兵;胡書杰;楊帆;蔡勛梁;萬廣魯;陳見聳
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/216;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

1.一種閱讀理解方法，其特征在于，包括：

獲取待識別文檔和待識別問題；

將所述待識別文檔和所述待識別問題輸入預先訓練的閱讀理解模型中分類模型部分，得到所述分類模型部分輸出的所述待識別文檔中各字符出現在答案中的預測概率；

從所述待識別文檔中抽取片段；

基于所述片段中各字符對應的預測概率，計算所述片段的密度；

選取密度最大的片段作為答案；

其中，計算所述片段的密度的具體公式為l為所述片段的跨度，i為所述片段中的字符，為所述片段的密度，α為預設參數，p_k為所述片段中序列k的預測概率；

所述分類模型部分通過模型訓練方法得到，具體為：

獲取樣本文檔、樣本問題和樣本答案；

基于所述樣本答案對所述樣本文檔進行標注，得到所述樣本文檔中各字符出現在所述樣本答案中的樣本標注概率，包括：將所述樣本文檔中，出現在所述樣本答案中的字符的樣本標注概率標記為第一預設概率；將所述樣本文檔中，未出現在所述樣本答案中的字符的樣本標注概率標記為第二預設概率；其中，所述第一預設概率大于所述第二預設概率；

將所述樣本文檔和所述樣本問題作為初始模型的輸入，得到所述初始模型輸出的所述樣本文檔中各字符出現在所述樣本答案中的樣本預測概率；

基于所述樣本標注概率和所述樣本預測概率確定訓練完成后，將訓練完成的模型作為所述閱讀理解模型中的分類模型部分，所述分類模型部分用于預測文檔中各字符出現在答案中的概率，所述分類模型部分與所述閱讀理解模型中的推理部分配合使用，所述推理部分用于基于所述分類模型部分輸出的所述文檔中各字符出現在答案中的概率，挑選出片段作為答案。

2.根據權利要求1所述的方法，其特征在于，從所述待識別文檔中抽取片段，包括：

以字符為粒度，從所述待識別文檔中抽取包含至少一個字符的片段；和/或，

對所述待識別文檔進行分詞，以詞為粒度，從所述待識別文檔抽取包含至少一個詞的片段；

和/或，

對所述待識別文檔進行分句，以句子為粒度，從所述待識別文檔抽取包含至少一個句子的片段。

3.根據權利要求2所述的方法，其特征在于，選取密度最大的片段作為所述答案，包括：

在以字符為粒度的情況下，選取密度最大的片段；

獲取所述密度最大的片段中第一個字符之前的至少一個字符，和/或，所述密度最大的片段中最后一個字符之后的至少一個字符，將所述密度最大的片段與獲取的字符組成候選片段；

計算所述候選片段完整的概率；

選取概率最大的候選片段作為所述答案。

4.根據權利要求2所述的方法，其特征在于，基于所述片段中各字符對應的預測概率，計算所述片段的密度，包括：

在以字符為粒度的情況下，基于所述片段中各字符對應的預測概率和所述片段的字符跨度，計算所述片段的密度；

在以詞為粒度的情況下，基于所述片段中各字符對應的預測概率計算所述片段中各詞對應的預測概率，基于所述片段中各詞對應的預測概率和所述片段的詞跨度，計算所述片段的密度；

在以句子為粒度的情況下，基于所述片段中各字符對應的預測概率計算所述片段中各句子對應的預測概率，基于所述片段中各句子對應的預測概率和所述片段的句子跨度，計算所述片段的密度。