[發明專利]融合指針生成網絡的知識圖譜智能問答方法

在審

• 申請號: 202110380648.6
• 申請日: 2021-04-09
• 公開（公告）號: CN113010693A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 劉爽;譚楠楠;孟佳娜;于玉海;趙丹丹
• 申請（專利權）人: 大連民族大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/332;G06F40/216;G06F40/295;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 馬慶朝

1.一種融合指針生成網絡的知識圖譜智能問答方法，其特征在于，步驟如下：

步驟1：使用分詞工具對WebQA數據集中的原文和問句部分進行分詞并檢查；

步驟2：對正確分詞后的數據使用BiLSTM-CRF模型進行命名實體識別；

步驟3：在Neo4j數據庫中查詢識別的實體對應的三元組；

步驟4：統計對應三元組中每一詞出現的頻率，查詢到的三元組中的單詞按照詞頻大小順序存入知識詞表；

步驟5：使用深度學習方法獲取問句的詞向量；

步驟6：構造生成式模型，返回答案。

2.如權利要求1所述的融合指針生成網絡的知識圖譜智能問答方法，其特征在于，針對步驟1，使用jieba分詞對數據集中的原文和問句進行分詞，并去除停用詞和標點符號。

3.如權利要求1所述的融合指針生成網絡的知識圖譜智能問答方法，其特征在于，針對步驟3，對步驟2中識別出的實體使用cypher語句在Neo4j圖數據庫中進行查詢，返回查詢的實體和關系；其中，使用的知識庫為CN-DBpedia。

4.如權利要求1所述的融合指針生成網絡的知識圖譜智能問答方法，其特征在于，針對步驟4，使用TF算法分別計算步驟3中每個單詞在數據集中出現的頻率，按照頻率進行排序統一存入知識詞表中。

5.如權利要求1所述的融合指針生成網絡的知識圖譜智能問答方法，其特征在于，針對步驟5，使用預訓練語言模型BERT模型獲取問句的詞向量再和問句中實體的詞頻語義特征進行拼接，作為下一模型的輸入序列。

6.如權利要求1所述的融合指針生成網絡的知識圖譜智能問答方法，其特征在于，針對步驟6，使用指針生成網絡模型來決定是從知識詞表中生成詞匯還是從問句中復制詞匯作為答案返回。

7.如權利要求1所述的融合指針生成網絡的知識圖譜智能問答方法，其特征在于，所述BiLSTM-CRF模型包括：

(1)嵌入層：首先將輸入的文本轉化為計算機能夠進行計算的向量形式；采用字符級別的分布式表示方法，采用word2vec中的CBOW進行詞向量的預訓練，將字符向量序列作為模型的初始化輸入；詞向量的維度設置為300維，窗口大小設置為5；

(2)BiLSTM層：輸入的句子序列經過字向量映射獲取的字符向量序列作為雙向LSTM層各個時間步的初始輸入；BiLSTM模型由前向LSTM模型和后向LSTM模型組成，用于獲取句子雙向的語義信息；LSTM模型由三個用sigmoid作為激活函數的門結構及一個細胞狀態組成，三個門結構分別為輸入門，遺忘門和輸出門；

每個門的輸入以及計算公式如下：

遺忘門的計算：選擇需要丟棄的內容，其輸入為前一時間的隱藏狀態h_t-1和當前輸入詞X_t，輸出的結果為遺忘門的值f_t；計算過程表示為：

f_t＝σ(W_f·x_t+V_f·h_t-1+b_f) 公式(1)

其中σ表示sigmoid激活函數，W_f、V_f表示線性關系的系數，b_f表示線性關系的偏置；

輸入門的計算：其輸入為前一時間的隱層狀態h_t-1和當前輸入詞X_t，輸出為輸入門的值i_t和臨時單元狀態計算過程表示為：

i_t＝σ(W_i·x_t+V_i·h_t-1+b_i) 公式(2)

其中W_i、V_i表示權重矩陣，b_i表示偏置，h_t-1表示LSTM模型的輸入，W_c、V_C表示權重矩陣，b_c表示訓練得出的偏置；

當前記憶單元更新的計算：表示計算當前時刻的單元狀態。其輸入為遺忘門的值f_t，輸入門的值i_t，根據公式(4)得出的上一時刻的單元狀態c_t-1和臨時單元狀態輸出為當前時刻的單元狀態c_t，計算過程可表示為:

輸出門和當前隱藏狀態的計算：輸出門的輸入為前一時刻的隱藏狀態h_t-1，當前時刻輸入詞X_t和當前時刻的單元狀態c_t，輸出為輸出門的值o_t和隱層狀態h_t，計算過程表示為:

o_t＝σ(W_o·x_t+V_o·h_t-1+b_o) 公式(5)

其中W_o、V_o表示權重矩陣，b_o表示偏置；

最后通過向量拼接得到最終的隱層表示

CRF層：通過CRF層進行句子級的序列標注，CRF層通過從訓練集中學習到的約束，來確保最終預測到的實體標簽序列是有效的以解決基于神經網絡方法的預測標簽序列可能無效的問題。