[發(fā)明專利]一種基于知識圖譜的對話方法、介質(zhì)及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110756285.1
• 申請日: 2021-07-05
• 公開（公告）號: CN113609301A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 王晴晴;肖力強(qiáng);金耀輝;何浩
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/332
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 張寧展

1.一種基于知識圖譜的對話方法，其特征在于包括以下步驟：

S1、編碼器程序模塊對所有對話歷史進(jìn)行拼接獲得輸入序列，對所述輸入序列進(jìn)行嵌入，獲得所述對話歷史的向量表示；

S2、知識圖譜嵌入程序模塊對若干知識條目進(jìn)行嵌入，獲得所述若干知識條目的向量表示；

S3、多頭注意力機(jī)制程序模塊針對所述對話歷史的向量表示對于每個所述知識條目的向量表示計(jì)算注意力分?jǐn)?shù)；

S4、多頭注意力機(jī)制程序模塊利用所述注意力分?jǐn)?shù)綜合所述知識條目獲得所述知識條目的上下文向量；

S5、解碼器程序模塊將輸入的所述知識條目的上下文向量以及所述對話歷史的向量表示進(jìn)行解碼，獲得機(jī)器回復(fù)。

2.根據(jù)權(quán)利要求1所述的一種基于知識圖譜的對話方法，其特征在于所述編碼器程序模塊或者知識圖譜嵌入程序模塊是采用雙向序列編碼的基于Transformer網(wǎng)絡(luò)的編碼器程序模塊或者知識圖譜嵌入程序模塊，所述Transformer網(wǎng)絡(luò)由嵌入層、位置編碼層、若干交替的注意力層和線性前向?qū)咏M成；所述Transformer網(wǎng)絡(luò)的注意力層和線性前向?qū)泳梢钥吹诫p向的內(nèi)容；所述步驟S1或者S2具體包括以下步驟：

S11、將對話歷史X或者知識條目鏈接成一個文字序列[w₁，w₂，...，w_l]，序列長度為l，輸入所述Transformer網(wǎng)絡(luò)；所述Transformer網(wǎng)絡(luò)嵌入層對文字序列[w₁，w₂，...，w_l]進(jìn)行嵌入獲得文字向量[e₁，e₂，...，e_l]；

S12、所述Transformer網(wǎng)絡(luò)位置編碼層對所述文字向量[e₁，e₂，...，e_l]進(jìn)行位置嵌入得到隱向量其中是與所述文字向量[e₁，e₂，...，e_l]維度相同的位置向量，使用隨機(jī)初始化，在所述Transformer網(wǎng)絡(luò)訓(xùn)練中進(jìn)行學(xué)習(xí)；

S13、所述隱向量h⁽⁰⁾依次經(jīng)過所述若干交替的注意力層和線性前向?qū)荧@得對話歷史的向量表示或者知識條目的向量表示，具體的：

S131、所述注意力層計(jì)算多頭自注意力：MultiHeadAtt(h⁽ⁱ⁾)＝Concat(head₁，...，head_h)W^c，其中head₁表示所述多頭注意力的一個頭head₁＝Att(h^(i-1))，其中Att表示普通點(diǎn)乘自注意，i表示第i個注意力層；

S132、所述注意力層與前注意力層輸出使用殘差方式進(jìn)行層歸一化：h⁽ⁱ⁾＝Norm(MultiHeadAtt(h^(i-1))+h^(i-1))，其中h⁽ⁱ⁾表示第i個交替的注意力層和線性前向?qū)拥乃须[向量，MultiHeadAtt表示注意力層，Norm表示層歸一化操作；

S133、所述線性前向?qū)优c前線性前向?qū)虞敵鍪褂脷埐罘绞竭M(jìn)行層歸一化：h⁽ⁱ⁾＝Norm(FFN(h^(i-1))+h^(i-1))，其中FFN表示線形前向?qū)印?/p>

3.根據(jù)權(quán)利要求2所述的一種基于知識圖譜的對話方法，其特征在于所述步驟S3具體為：所述對話歷史的向量表示經(jīng)過一個線性層作為詢問Q，所述知識條目的向量表示經(jīng)過一個線性層作為鍵K和值V，計(jì)算所述注意力分?jǐn)?shù)：

其中為Q，K，V的向量維度。