[發(fā)明專利]基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法

在審

• 申請?zhí)枺?/td>: 202110418009.4
• 申請日: 2021-04-19
• 公開（公告）號: CN112989006A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 孔芳;司博文;周國棟
• 申請（專利權(quán)）人: 蘇州大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35;G06F40/30;G06K9/62
• 代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 郭磊

1.一種基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，包括：

(1)將不同語言的對話上文與備選回應(yīng)進(jìn)行預(yù)處理，得到相應(yīng)對話上文和備選回應(yīng)文本的潛在語義表征；(2)對不同語言對話上文文本與備選回應(yīng)文本的特征進(jìn)行特征提取，得到不同語言對話上文文本與備選回應(yīng)文本的潛在語義信息；(3)對于每一種語言的對話，匹配每一回合對話與備選回應(yīng)，同時整合對話上文整體語義信息；整體語義信息與備選回應(yīng)進(jìn)行匹配，將匹配到的信息整合；(4)將不同語言的輸出進(jìn)行整合，完成結(jié)果的有效預(yù)測。

2.如權(quán)利要求1所述的基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，步驟(2)中，使用輕量級編碼器Trendoder對不同語言對話上文文本與備選回應(yīng)文本的特征進(jìn)行特征提取。

3.如權(quán)利要求2所述的基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，所述輕量級編碼器Trencoder的輸入是文本的表示向量P＝[e₁，e₂，…，e_n]，其中n表示文本的長度，e_i表示每個單詞對應(yīng)的詞向量。

4.如權(quán)利要求3所述的基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，所述輕量級編碼器Trencoder首先對文本做點(diǎn)積注意力操作，其次，使用層歸一化操作處理得到的向量；再次，使用前饋神經(jīng)網(wǎng)絡(luò)和RELU激活函數(shù)對上述語義信息進(jìn)行聚合。

5.如權(quán)利要求4所述的基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，所述點(diǎn)積注意力操作的具體如公式(20)～(21)所示：

Attention(P)＝W(P)·P (21)

其中，P_i表示文本中第i個單詞的詞向量；Attention(P)的每一行Attention(P)[i]存儲的是語句中依賴與第i個單詞的語義信息；對于每個i，將Attention(P)[i]與P[i]相加，得到點(diǎn)積之后與點(diǎn)積之前文本信息的組合表示。

6.如權(quán)利要求4所述的基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，使用前饋神經(jīng)網(wǎng)絡(luò)和RELU激活函數(shù)對上述語義信息進(jìn)行聚合，具體計(jì)算如公式(22)所示：

FN(x)＝max(0，xW₁+b₁)W₂+b₂ (22)

其中，x是一個和P形狀一致的張量，W₁，b₁，W₂，b₂是可學(xué)習(xí)的參數(shù)。

7.如權(quán)利要求1所述的基于聯(lián)合學(xué)習(xí)的多回合對話回應(yīng)選擇方法，其特征在于，步驟(3)中，使用雙向注意力機(jī)制匹配每一回合對話與備選回應(yīng)。

8.一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)權(quán)利要求1到7任一項(xiàng)所述方法的步驟。

9.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1到7任一項(xiàng)所述方法的步驟。

10.一種處理器，其特征在于，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時執(zhí)行權(quán)利要求1到7任一項(xiàng)所述的方法。