[發(fā)明專利]一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110063608.9
• 申請(qǐng)日: 2021-01-18
• 公開(kāi)（公告）號(hào): CN112800196A
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 孫旭恩
• 申請(qǐng)（專利權(quán)）人: 北京明略軟件系統(tǒng)有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 青島清泰聯(lián)信知識(shí)產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李紅巖

1.一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配方法，其特征在于，包括：

輸入步驟：在嵌入層中輸入兩個(gè)問(wèn)句并對(duì)其進(jìn)行處理，將處理完成后的所述問(wèn)句中的詞向量和字向量融合后輸入至編碼層；

信息抽取步驟：在所述編碼層利用孿生網(wǎng)絡(luò)架構(gòu)，使用兩個(gè)雙向的LSTM網(wǎng)絡(luò)，分別從所述問(wèn)句的兩個(gè)方向?qū)θ诤虾蟮乃鲈~向量和所述字向量進(jìn)行上下文編碼，并進(jìn)行問(wèn)句特征提取，將LSTM網(wǎng)絡(luò)每一個(gè)時(shí)間步的隱藏層狀態(tài)值輸入至注意力層；

語(yǔ)句加權(quán)步驟：在所述注意力層將所述隱藏層狀態(tài)值基于注意力機(jī)制進(jìn)行加權(quán)求和，得到所述問(wèn)句的語(yǔ)義表征向量，將所述語(yǔ)義表征向量輸入至特征融合層；

特征融合步驟：在所述特征融合層采用特征增強(qiáng)的方法將所述語(yǔ)義表征向量進(jìn)行拼接，拼接后得到的特征向量輸入至輸出層；

輸出步驟：在所述輸出層通過(guò)全連接層對(duì)所述特征向量做線性變換來(lái)轉(zhuǎn)換輸出的維度，進(jìn)而通過(guò)softmax函數(shù)得到兩個(gè)所述問(wèn)句的概率分布，輸出兩個(gè)所述問(wèn)句的語(yǔ)義相似度。

2.根據(jù)權(quán)利要求1所述的一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配方法，其特征在于，所述輸入步驟還包括：

處理步驟：對(duì)輸入的所述問(wèn)句進(jìn)行分詞處理和分字處理；

映射步驟：使用預(yù)訓(xùn)練的詞向量和字向量將所述問(wèn)句的每個(gè)詞和每個(gè)字均映射成300維的所述詞向量和所述字向量。

3.根據(jù)權(quán)利要求1所述的一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配方法，其特征在于，所述語(yǔ)句加權(quán)步驟包括：

權(quán)重獲得步驟：通過(guò)全連接層得到每個(gè)隱藏層的特征映射，并通過(guò)所述softmax函數(shù)對(duì)映射后的特征進(jìn)行歸一化處理得到每個(gè)所述隱藏層狀態(tài)值的權(quán)重參數(shù)；

加權(quán)求和步驟：將所述隱藏層狀態(tài)值與所述權(quán)重參數(shù)進(jìn)行加權(quán)求和，得到所述問(wèn)句的語(yǔ)義表征向量。

4.根據(jù)權(quán)利要求1所述的一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配方法，其特征在于，所述特征融合步驟包括：

特征增強(qiáng)步驟：將所述語(yǔ)義表征向量通過(guò)進(jìn)行求和、求差與點(diǎn)積操作得到三個(gè)不同的特征向量，并對(duì)所述三個(gè)不同的特征向量進(jìn)行拼接。

5.根據(jù)權(quán)利要求1所述的一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配方法，其特征在于，所述輸出步驟包括：

線性變換步驟：拼接后的所述特征向量經(jīng)過(guò)全連接層進(jìn)行線性變換，將所述特征向量的維度變換到判斷兩個(gè)句子是否相似所需要的的維度；

概率分布獲得步驟：基于線性變換后的所述特征向量通過(guò)所述softmax函數(shù)輸出所述特征向量的概率分布；

判斷步驟：根據(jù)所述概率分布判斷兩個(gè)所述問(wèn)句是否語(yǔ)義相似，若所述問(wèn)句語(yǔ)義相似，則輸出FAQ問(wèn)答庫(kù)中相應(yīng)的解決方案；若所述問(wèn)句語(yǔ)義無(wú)關(guān)，則通過(guò)之后的用戶意圖識(shí)別以及信息交互，返回用戶所需要的解決方案。

6.一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配系統(tǒng)，其特征在于，包括：

輸入模塊：在嵌入層中輸入兩個(gè)問(wèn)句并對(duì)其進(jìn)行處理，將處理完成后的所述問(wèn)句中的詞向量和字向量融合后輸入至編碼層；

信息抽取模塊：在所述編碼層利用孿生網(wǎng)絡(luò)架構(gòu)，使用兩個(gè)雙向的LSTM網(wǎng)絡(luò)，分別從所述問(wèn)句的兩個(gè)方向?qū)θ诤虾蟮乃鲈~向量和所述字向量進(jìn)行上下文編碼，并進(jìn)行問(wèn)句特征提取，將LSTM網(wǎng)絡(luò)每一個(gè)時(shí)間步的隱藏層狀態(tài)值輸入至注意力層；

語(yǔ)句加權(quán)模塊：在所述注意力層將所述隱藏層狀態(tài)值基于注意力機(jī)制進(jìn)行加權(quán)求和，得到所述問(wèn)句的語(yǔ)義表征向量，將所述語(yǔ)義表征向量輸入至特征融合層；

特征融合模塊：在所述特征融合層采用特征增強(qiáng)的方法將所述語(yǔ)義表征向量進(jìn)行拼接，拼接后得到的特征向量輸入至輸出層；

輸出模塊：在所述輸出層通過(guò)全連接層對(duì)所述特征向量做線性變換來(lái)轉(zhuǎn)換輸出的維度，進(jìn)而通過(guò)softmax函數(shù)得到兩個(gè)所述問(wèn)句的概率分布，輸出兩個(gè)所述問(wèn)句的語(yǔ)義相似度。

7.根據(jù)權(quán)利要求6所述的一種基于孿生網(wǎng)絡(luò)的FAQ問(wèn)答庫(kù)匹配系統(tǒng)，其特征在于，所述輸入模塊還包括：

處理單元：對(duì)輸入的所述問(wèn)句進(jìn)行分詞處理和分字處理；

映射單元：使用預(yù)訓(xùn)練的詞向量和字向量將所述問(wèn)句的每個(gè)詞和每個(gè)字均映射成300維的所述詞向量和所述字向量。