[發(fā)明專利]問題處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010174852.8
• 申請日: 2020-03-13
• 公開（公告）號(hào): CN111400470A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 費(fèi)昊;馮曉;王昊;呂進(jìn)
• 申請（專利權(quán)）人: 深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06N20/00
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃晶晶;李文淵

1.一種問題處理方法，其特征在于，所述方法包括：

獲取問題查詢語句；

從預(yù)設(shè)問題庫中，查找與所述問題查詢語句匹配的候選問題；

分別將所述問題查詢語句與各所述候選問題組成問題組合，輸入相似度預(yù)測模型中，輸出所述問題組合中候選問題與所述問題查詢語句之間的相似度；所述相似度預(yù)測模型，是將多個(gè)數(shù)據(jù)源的樣本問題組合和相應(yīng)的相似度標(biāo)簽作為訓(xùn)練集，通過多任務(wù)迭代訓(xùn)練對基礎(chǔ)語言模型的模型參數(shù)進(jìn)行調(diào)整后得到的；

選取相似度最高的候選問題，作為與所述問題查詢語句匹配的目標(biāo)問題。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

確定預(yù)設(shè)答案庫；所述預(yù)設(shè)答案庫中的答案與所述預(yù)設(shè)問題庫中的問題具有對應(yīng)關(guān)系；

從預(yù)設(shè)答案庫中，查找與所述目標(biāo)問題對應(yīng)的答案。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相似度預(yù)測模型的訓(xùn)練步驟包括：

獲取訓(xùn)練集；所述訓(xùn)練集，包括來自多個(gè)數(shù)據(jù)源的樣本問題組合和所述樣本問題組合所對應(yīng)的相似度標(biāo)簽；

采用所述訓(xùn)練集，對基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到相似度預(yù)測模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述采用所述訓(xùn)練集，對基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到相似度預(yù)測模型包括：

針對至少兩個(gè)基礎(chǔ)語言模型中每個(gè)基礎(chǔ)語言模型，采用所述訓(xùn)練集，對所述基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到與所述基礎(chǔ)語言模型對應(yīng)的預(yù)測模型；不同所述基礎(chǔ)語言模型的處理粒度不同；

根據(jù)與各基礎(chǔ)語言模型分別對應(yīng)的所述預(yù)測模型，得到相似度預(yù)測模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述針對至少兩個(gè)基礎(chǔ)語言模型中每個(gè)基礎(chǔ)語言模型，采用所述訓(xùn)練集，對所述基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到與所述基礎(chǔ)語言模型對應(yīng)的預(yù)測模型包括：

采用所述訓(xùn)練集，對第一基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到與所述第一基礎(chǔ)語言模型對應(yīng)的預(yù)測模型；所述第一基礎(chǔ)語言模型，是以字符為處理粒度的基礎(chǔ)語言模型；

采用所述訓(xùn)練集，對第二基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到與所述第二基礎(chǔ)語言模型對應(yīng)的預(yù)測模型；所述第二基礎(chǔ)語言模型，是以詞為處理粒度的基礎(chǔ)語言模型。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述采用所述訓(xùn)練集，對所述基礎(chǔ)語言模型迭代地進(jìn)行多任務(wù)訓(xùn)練，得到與所述基礎(chǔ)語言模型對應(yīng)的預(yù)測模型包括：

獲取所述基礎(chǔ)語言模型所對應(yīng)的預(yù)設(shè)超參數(shù)；所述預(yù)設(shè)超參數(shù)中包括初始的學(xué)習(xí)率；

將所述初始的學(xué)習(xí)率作為當(dāng)前學(xué)習(xí)率，并按照所述當(dāng)前學(xué)習(xí)率，采用所述訓(xùn)練集，對所述基礎(chǔ)語言模型進(jìn)行當(dāng)前輪的多任務(wù)訓(xùn)練；

在當(dāng)前輪訓(xùn)練結(jié)束后減小所述學(xué)習(xí)率，并將減小后的學(xué)習(xí)率作為當(dāng)前學(xué)習(xí)率，將下一輪作為當(dāng)前輪，返回所述對所述基礎(chǔ)語言模型進(jìn)行當(dāng)前輪的多任務(wù)訓(xùn)練，直至達(dá)到迭代停止條件，得到與所述基礎(chǔ)語言模型對應(yīng)的預(yù)測模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述按照所述當(dāng)前學(xué)習(xí)率，采用所述訓(xùn)練集，對所述基礎(chǔ)語言模型進(jìn)行當(dāng)前輪的多任務(wù)訓(xùn)練包括：

將對應(yīng)多個(gè)數(shù)據(jù)源的訓(xùn)練集，輸入至當(dāng)前輪的基礎(chǔ)語言模型進(jìn)行多任務(wù)訓(xùn)練，得到所述訓(xùn)練集中的樣本問題組合對應(yīng)的輸出向量；

將同一數(shù)據(jù)源的樣本問題組合所對應(yīng)的輸出向量，輸入與所述數(shù)據(jù)源對應(yīng)的全連接層，進(jìn)行全連接處理；

根據(jù)全連接處理的結(jié)果，確定各所述數(shù)據(jù)源所對應(yīng)的子損失函數(shù)；

根據(jù)各所述子損失函數(shù)，確定最終的損失函數(shù)；

根據(jù)所述損失函數(shù)和所述當(dāng)前學(xué)習(xí)率，調(diào)整所述基礎(chǔ)語言模型的模型參數(shù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述損失函數(shù)，由各子損失函數(shù)按照相應(yīng)權(quán)重進(jìn)行加權(quán)求和得到；

所述方法還包括：

確定與所述損失函數(shù)中的子損失函數(shù)相應(yīng)的數(shù)據(jù)源；

針對每個(gè)子損失函數(shù)相應(yīng)的數(shù)據(jù)源，確定所述數(shù)據(jù)源所對應(yīng)的全連接層，并根據(jù)所述子損失函數(shù)，對所述全連接層的參數(shù)進(jìn)行更新。