[發(fā)明專利]多模型聯(lián)合學習的問題匹配方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010538105.8
• 申請日: 2020-06-12
• 公開（公告）號: CN111666397B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設計）人: 吳仁守;繆慶亮;俞凱
• 申請（專利權(quán)）人: 思必馳科技股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N3/08;G06N3/04
• 代理公司: 北京商專永信知識產(chǎn)權(quán)代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發(fā)明實施例提供一種多模型聯(lián)合學習的問題匹配方法。該方法包括：建立基于編碼的第一模型；建立基于交互的第二模型；建立第三模型，所述第三模型包括編碼器、交互層、融合單元和分類器，其中，所述第三模型的編碼器、交互層和分類器與所述第二模型的編碼器、交互層和分類器相同且共享參數(shù)，所述融合單元對分別來自所述編碼器和所述交互層的輸出進行融合，融合時以所述交互層的輸出為主，以所述編碼器的輸出為輔；對所述第一模型、所述第二模型、所述第三模型進行聯(lián)合學習；利用學習后的所述第三模型對問題對進行匹配度預測。本發(fā)明實施例還提供一種多模型聯(lián)合學習的問題匹配系統(tǒng)。本發(fā)明實施例提高預測準確度的同時，保持預測速度。

技術領域

本發(fā)明涉及問題匹配領域，尤其涉及一種多模型聯(lián)合學習的問題匹配方法及系統(tǒng)。

背景技術

問題匹配是基于檢索的問答系統(tǒng)中的一項基本任務，也被稱為語義匹配任務或釋義識別任務，該任務的目的是從現(xiàn)有數(shù)據(jù)庫中搜索意圖與輸入問題相似的問題。一般的，給定一對句子，要求問題匹配模型判斷兩個句子是否表達相同的含義，輸出匹配或不匹配的概率。例如，輸入問句一：“怎么樣才可以提高信用額度呀”和問句二：“信用額度要怎樣才可以增加”，問題匹配模型需要判斷兩個問題是否具有相同的含義，如果有相同的含義，則可以給兩個問題回復相同的答案。因此，在基于檢索的問答系統(tǒng)中，如果在問答庫中存在和用戶問題相匹配的問題時，就可以返回該問題答案來回答用戶問題。根據(jù)是否使用交叉句子特征，一般可以將問題匹配模型分為兩類：(1)基于編碼的模型，它直接通過編碼獲得的句子向量計算句子對的相似度。這種類型的模型通常比較簡單，而且容易將其推廣到其它自然語言處理任務中。(2)基于交互的模型，該類模型在句子編碼向量的基礎上，考慮了單詞對齊和句子對之間的交互。相比于基于編碼的模型，基于交互的模型通常表現(xiàn)出更好的準確度。但是，為了獲得更好的性能，基于交互的模型通常包含多個對齊層以維持其中間狀態(tài)來逐漸完善其預測準確度，但是這些較深的模型結(jié)構(gòu)通常更難訓練，而且預測速度較慢，難以在真實場景中應用。

在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)相關技術中至少存在如下問題：

當前準確的較高的模型通常是基于交互的模型，其通常包含多個對齊層，模型較為復雜，預測速度較慢。由于實際應用中對模型響應速度要求較高，常見的解決辦法通常是使用簡單的模型，通過犧牲準確度來提高模型預測速度。

發(fā)明內(nèi)容

為了至少解決現(xiàn)有技術中基于交互的模型預測速度較慢，難以在真實場景中使用。

第一方面，本發(fā)明實施例提供一種多模型聯(lián)合學習的問題匹配方法，包括：

建立基于編碼的第一模型，所述第一模型包括編碼器和分類器；

建立基于交互的第二模型，所述第二模型包括編碼器、交互層和分類器，其中所述交互層使用單層的多頭注意力機制對句子對進行交互，所述第二模型的編碼器和分類器與所述第一模型的編碼器和分類器相同且共享參數(shù)；

建立第三模型，所述第三模型包括編碼器、交互層、融合單元和分類器，其中，所述第三模型的編碼器、交互層和分類器與所述第二模型的編碼器、交互層和分類器相同且共享參數(shù)，所述融合單元對分別來自所述編碼器和所述交互層的輸出進行融合，融合時以所述交互層的輸出為主，以所述編碼器的輸出為輔；

對所述第一模型、所述第二模型、所述第三模型進行聯(lián)合學習；

利用學習后的所述第三模型對問題對進行匹配度預測。

第二方面，本發(fā)明實施例提供一種多模型聯(lián)合學習的問題匹配系統(tǒng)，包括：

編碼模型建立程序模塊，用于建立基于編碼的第一模型，所述第一模型包括編碼器和分類器；

交互模型建立程序模塊，用于建立基于交互的第二模型，所述第二模型包括編碼器、交互層和分類器，其中所述交互層使用單層的多頭注意力機制對句子對進行交互，所述第二模型的編碼器和分類器與所述第一模型的編碼器和分類器相同且共享參數(shù)；