[發(fā)明專利]一種基于混合專家模型和聯(lián)合學習的知識庫問題生成方法

在審

• 申請?zhí)枺?/td>: 202110490812.9
• 申請日: 2021-05-06
• 公開（公告）號: CN113127623A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 陳佳敏;畢勝;漆桂林
• 申請（專利權(quán)）人: 東南大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/36;G06N3/04;G06N3/08
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 許小莉

1.一種基于混合專家模型和聯(lián)合學習的知識庫問題生成方法，其特征在于，該方法分為三個模塊，包括如下步驟：

a.知識圖譜復雜問題生成模塊

1)通過對輸入三元組子圖進行重構(gòu)，實現(xiàn)從輸入中編碼得到復雜問題生成所需的復雜關(guān)系信息；

2)使用圖神經(jīng)網(wǎng)絡(luò)GraphTransformer方法對重構(gòu)后的輸入三元組子圖進行編碼；

3)使用混合專家模型，預測專家選擇不同的生成結(jié)果，提升生成問題的多樣性；

4)使用隱變量建模關(guān)系的結(jié)構(gòu)信息，實現(xiàn)對復雜關(guān)系的編碼，指導復雜問題的生成；

5)使用Transformer網(wǎng)絡(luò)，在關(guān)系結(jié)構(gòu)編碼信息和選擇專家的指導下對編碼結(jié)果進行解碼，生成問題；

b.知識圖譜復雜問題問答(KBQA)模塊

6)使用Transformer對輸入復雜問題進行編碼；

7)使用混合專家模型選擇不同的專家，指導完成問答的過程；

8)預測關(guān)系的層級依存關(guān)系，完成對復雜問題的復雜關(guān)系編碼解析；

9)使用Transformer網(wǎng)絡(luò)預測復雜問題對應(yīng)的關(guān)系序列，完成問答過程；

c.聯(lián)合學習模塊

10)通過聯(lián)合學習，知識圖譜問答實現(xiàn)對知識圖譜問題生成的約束，提升生成問題包含的復雜關(guān)系準確性，生成高質(zhì)量的復雜問題。

2.根據(jù)權(quán)利要求書1所述的基于混合專家模型和聯(lián)合學習的知識庫問題生成方法，其特征在于，所述步驟1)的具體方法是：

對于輸入三元組構(gòu)成一個子圖其中V是實體節(jié)點集合，E是關(guān)系邊集合，而該子圖為帶邊權(quán)值圖，對該帶邊權(quán)值圖的子圖進行重構(gòu)，將帶屬性的關(guān)系邊擴展成節(jié)點，然后通過無權(quán)置邊鏈接實體節(jié)點和新擴展的關(guān)系節(jié)點，將該帶邊權(quán)值圖子圖重構(gòu)為無權(quán)值邊子圖；更具體的，對于每一個關(guān)系邊，擴展成兩個節(jié)點，分別表示該關(guān)系的正向關(guān)系和逆向關(guān)系，然后通過正向有向邊聯(lián)通三元組的頭實體節(jié)點、正向關(guān)系節(jié)點和尾實體節(jié)點，通過逆向有向邊聯(lián)通三元組的尾實體節(jié)點、逆向關(guān)系節(jié)點和頭實體節(jié)點，同時額外增加一個全局節(jié)點，并與所有關(guān)系節(jié)點連接。

3.根據(jù)權(quán)利要求書1所述的基于混合專家模型和聯(lián)合學習的知識庫問題生成方法，其特征在于，所述步驟3)的具體方法是：

自定義有K個專家，問題生成的目標為最大化下式：

其中z^q∈{1,…,K}表示模型選擇的專家，G是輸入子圖，θ^q是知識圖譜復雜問題生成模塊模型參數(shù)，Q是目標生成的問題，p(.)表示括號內(nèi)部分的概率。

4.根據(jù)權(quán)利要求書1所述的基于混合專家模型和聯(lián)合學習的知識庫問題生成方法，其特征在于，所述步驟4)中，

在解碼器生成問題時使用隱變量來表示時間步t生成詞語是否屬于一個新的短句，隱變量計算式如下：

其中e₀和e₁是兩個可訓練的embedding表示，分別表示當前詞語與上一個詞屬于一個文本短句，或者當前詞語新起一個新的文本短句，是選擇步驟3)中選擇專家z^q的向量表示，是時間步t的隱藏狀態(tài)，σ是sigmod激活函數(shù)，fc是全連接層Fully connected layer，v是經(jīng)過編碼器得到的解碼器初始狀態(tài)向量。

5.根據(jù)權(quán)利要求書1所述的基于混合專家模型和聯(lián)合學習的知識庫問題生成方法，其特征在于，所述步驟7)的具體方法是：自定義有K個專家，知識圖譜復雜問題問答的目標為最大化下式：

其中z^r∈{1,…,K}表示模型選擇的專家，Q是輸入復雜問題，θ^r是知識圖譜復雜問題問答模塊模型參數(shù)，R是目標得到的關(guān)系序列。