[發明專利]排序模型確定方法、排序方法、裝置及電子設備

在審

• 申請號: 202010750541.1
• 申請日: 2020-07-30
• 公開（公告）號: CN111858895A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 王福釙;杜新凱;韓佳;史輝;高峰;劉謙;史祎凡;蔡巖松
• 申請（專利權）人: 陽光保險集團股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/335;G06F16/9535;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 蔣姍

1.一種排序模型確定方法，其特征在于，包括：

通過搜索引擎，從文檔數據庫中，召回多個與訓練問題集對應的候選文檔集，多個所述候選文檔集中，每個候選文檔集包括的候選文檔數量不同；

針對多個所述候選文檔集中的每個候選文檔集，根據所述訓練問題集中每個訓練問題對應的問題答案，為所述候選文檔集包括的每篇候選文檔添加文檔標記；

針對多個所述候選文檔集中的每個候選文檔集，構建對應的訓練數據集，以獲得多個訓練數據集，所述訓練數據集包括所述訓練問題集中每個訓練問題，以及所述訓練數據集對應的候選文檔集中，添加有文檔標記的每篇候選文檔；

通過所述多個訓練數據集，分別對預訓練語言模型進行訓練，獲得多個排序模型；

分別對所述多個排序模型進行測試，獲得多個測試結果，以根據所述多個測試結果，從所述多個排序模型中選取出目標模型。

2.根據權利要求1所述的排序模型確定方法，其特征在于，所述通過搜索引擎，從文檔數據庫中，召回多個與訓練問題集對應的候選文檔集，包括：

確定出多個比例數值，所述多個比例數值中，每個比例數值不同，且每個比例數值為大于1的整數；

針對所述多個比例數值中的每個比例數值，針對所述訓練問題集中的每個訓練問題，通過所述搜索引擎，從所述文檔數據庫中，召回所述比例數值篇與所述訓練問題對應的候選文檔，組成一個所述候選文檔集，以獲得多個所述候選文檔集。

3.根據權利要求2所述的排序模型確定方法，其特征在于，所述通過所述搜索引擎，從所述文檔數據庫中，召回所述比例數值篇與所述訓練問題對應的候選文檔，組成一個所述候選文檔集，包括：

通過關鍵詞抽取算法，從所述訓練問題中，獲取至少一個關鍵詞；

通過所述搜索引擎，從所述文檔數據庫中，召回所述比例數值篇與所述至少一個關鍵詞對應的候選文檔，組成一個所述候選文檔集。

4.根據權利要求1或2所述的排序模型確定方法，其特征在于，所述文檔標記包括第一文檔標記和第二文檔標記，所述根據所述訓練問題集中每個訓練問題對應的問題答案，為所述候選文檔集包括的每篇候選文檔添加文檔標記，包括：

針對所述候選文檔集中包括的每篇候選文檔，確定出與所述候選文檔對應的訓練問題，并判斷所述候選文檔中，是否包括與所述訓練問題對應的問題答案；

若所述候選文檔中，包括與所述訓練問題對應的問題答案，則為所述候選文檔添加第一文檔標記；

若所述候選文檔中，不包括與所述訓練問題對應的問題答案，則為所述候選文檔添加第二文檔標記。

5.根據權利要求2所述的排序模型確定方法，其特征在于，所述分別對所述多個排序模型進行測試，獲得多個測試結果，以根據所述多個測試結果，從所述多個排序模型中選取出目標模型，包括：

針對所述多個排序模型中的每個排序模型，確定出所述排序模型對應的比例數值，并針對測試問題集中的每個測試問題，通過所述搜索引擎，從所述文檔數據庫中，召回所述比例數值篇與所述測試問題對應的測試文檔，構建一個測試文檔集，以獲得多個所述測試文檔集；

針對多個所述測試文檔集中的每個測試文檔集，從所述多個排序模型中，確定出與所述測試文檔集對應的排序模型，以將所述測試問題集中的每個測試問題，以及所述測試文檔中的每篇測試文檔輸入所述排序模型，以使所述排序模型輸出針對所述測試問題集中的每個測試問題的文檔排序結果；

針對所述多個排序模型中的每個排序模型，獲得所述排序模型輸出的針對所述測試問題集中的所有測試問題的文檔排序結果的準確率，作為所述排序模型對應的測試結果，以獲得所述多個測試結果；

從所述多個測試結果中選取出數值最高的測試結果，以將所述數值最高的測試結果對應的排序模型，作為所述目標模型。

6.一種排序方法，其特征在于，包括:

獲取多篇目標文檔，所述多篇目標文檔通過搜索引擎，從文檔數據庫中召回，且與目標問題對應；

將所述目標問題和所述多篇目標文檔輸入目標模型，以使所述目標模型輸出所述多篇目標文檔的排序結果，所述目標模型通過權利要求1～5中任意一項所述的排序模型確定方法訓練獲得。