[發明專利]一種基于FSM多輪問答的語義相似度計算方法

在審

• 申請號: 201911183824.6
• 申請日: 2019-11-27
• 公開（公告）號: CN111046155A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 王黎成;高陽
• 申請（專利權）人: 中博信息技術研究院有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06K9/62;G06F40/126
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

1.一種基于FSM多輪問答的語義相似度計算方法，其特征在于，通過使用FSM多輪問答加DSSM語義相似度計算模型來提供問題匹配的效率和精度。

2.根據權利要求1所述的一種基于FSM多輪問答的語義相似度計算方法，其特征在于，通過將傳統DSSM表示層的雙向RNN模型換成能夠對輸入數據進行并行處理的Transformer，從而加快了模型訓練和計算速度。

3.根據權利要求1所述的一種基于FSM多輪問答的語義相似度計算方法，其特征在于，提出一種更靈活的遷移框架，基于權利要求1所述的問答流程，可用于不同垂直領域的智能客服系統，在遷移時，只需要提前整理好該利于常見問答對數據存入知識庫，并根據知識庫中的數據對DSSM模型進行訓練。

4.一種基于FSM多輪問答的語義相似度計算方法，其特征在于，包括如下

步驟1、用戶向系統輸入所提問題，系統根據輸入問題進行場景判斷，根據判斷結果調用知識庫中相應數據集，使用預先訓練好的詞向量及DSSM模塊，進行語義相似度計算，并將計算結果返回給用戶；

步驟2、用戶根據所提問題判斷是否是其需要的答案，如果是，則結束問答對匹配過程，否則繼續后續操作；

步驟3、如果返回答案不是用戶需要的，則詢問用戶是否是想尋找某個具體類型的問題，如果是該類型，則輸出該類型的問題關鍵字，由用戶選擇關鍵字；如果不是該類型，則返回若干問題候選類型，由用戶進行選擇，并輸入問題關鍵字；

步驟4、根據選擇問題類型和關鍵字，進一步縮小待匹配問答對數據，并將用戶的問題進行語義相似度計算，返回候選答案給用戶；

步驟5、如果所返回答案是用戶需要，則結束問答過程，否則返回到步驟1繼續進行，或者由用戶自行退出。

5.根據權利要求4所述的基于FSM多輪問答的語義相似度計算方法，其特征在于，

所述DSSM模塊包括：

輸入層，用于將用戶問題和知識庫待匹配問題分別轉為由字向量表示的三維數組，并將其作為表示層的輸入，其中，字向量由網上公開文本數據訓練得到，且向量空間為768維；

表示層，采用Transformer的編碼器部分，分別對由輸入層輸出的用戶問題特征向量和知識庫待匹配問題特征向量進行編碼，從而提取出句子中每個單詞的更抽象特征，通過global-attention將原本由每個字向量組成的句子特征表示轉換為由一個768維向量表示的新的句子特征；Transformer編碼器一共分為6個小Encoder，其中每個Encoder又包含了self-attention和full-connect兩個模塊；

匹配層，在由表示層分別得到了用戶問題和知識庫待匹配問題的句子特征向量后，它們之間的語義相似性可以用這兩個語義向量(768維)的cosine距離來表示：

其中，Q代表用戶問題，S代表知識庫待匹配問題；

對于用戶輸入的問題來說，當它需要與知識庫中選擇的上所有問題內容進行語義相似度計算時，首先由前面2層分別得到用戶問題特征向量表示和知識庫待匹配的若干問題的特征向量表示，然后將用戶問題的特征向量依次與知識庫待匹配的每個問題的特征向量進行余弦相似度計算，最后通過softmax函數可以把用戶問題與匹配的每個問題的語義相似性轉化為一個后驗概率：

其中r為softmax的平滑因子，S+為所有待匹配問題的正樣本，S-為所有待匹配問題的負樣本，S為所有待匹配問題的整個樣本空間；

在訓練階段，通過極大似然估計，最小化損失函數：

殘差會在表示層的Transformer中反向傳播，最終通過隨機梯度下降(SGD)使模型收斂，得到各網絡層的參數{Wi,bi}。

6.一種基于FSM多輪問答的語義相似度計算系統，其特征在于，包括如下模塊：

問題分析模塊：根據用戶輸入的問題，對問題的場景進行判斷，根據相應問題場景調用知識庫中的問答對數據，并將輸入的問題中的每一個字符轉換成該字符在字典中索引，用于獲取通過BERT預先訓練存儲的字向量；

問題檢索模塊：根據轉換后的用戶問題以及從知識庫中提取的問答對數據，進行第一輪的語義相似度計算，并將檢索到答案返回給用戶，等待用戶進行反饋；

問題匹配模塊：如果用戶反饋為正確答案，則停止后續操作，整個問答過程結束，如果用戶反饋答案錯誤，則根據用戶選擇的問題類型到知識庫中選擇該類型的問答對數據進行語義相似度計算；

打分模塊：打分模型根據提前設置的top-k和threshold，對通過語義相似度計算匹配到的N個答案按評分進行排序，并返回top-k個候選答案，然后再根據threshold判斷，如果候選答案的評分高于閾值，則輸出給用戶；

SimNet模塊：該模型主要用來存儲Transformer模型，并提供該模型進行訓練、調用的相應接口；

(6)FAQ數據集存儲模塊：用于存儲提前收集好的問答對數據集，該數據集除了包括垂直領域數據以外，還可包含閑聊、百科相關的問答對數據，從而提高用戶體驗。