[發(fā)明專利]基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法

在審

• 申請?zhí)枺?/td>: 202110384669.5
• 申請日: 2021-04-09
• 公開（公告）號: CN113190662A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設計）人: 徐邵洋
• 申請（專利權(quán)）人: 蘇州大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務所(普通合伙) 32257
• 代理人: 殷海霞

1.一種基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：包括以下步驟：

步驟1：構(gòu)建篇章結(jié)構(gòu)圖，以單詞和句子作為節(jié)點，得到該結(jié)構(gòu)圖的特征矩陣和鄰接矩陣；

步驟2：對特征矩陣和鄰接矩陣進行整合計算得到歸一化的對稱鄰接矩陣；

步驟3：基于門控圖神經(jīng)網(wǎng)絡對結(jié)構(gòu)圖進行迭代，句子節(jié)點之間通過共有的鄰接單詞節(jié)點產(chǎn)生了間接的信息交互，得到句子向量表示序列；

步驟4：基于雙向長短時記憶網(wǎng)絡模型將句子向量表示序列進行分隔點的預測。

2.根據(jù)權(quán)利要求1所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：在步驟1中，以單詞和句子作為節(jié)點分別得到單詞節(jié)點和句子節(jié)點，對單詞節(jié)點和句子節(jié)點進行向量化處理。

3.根據(jù)權(quán)利要求2所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：在步驟1中，對單詞節(jié)點的向量化處理采用詞嵌入的方法。

4.根據(jù)權(quán)利要求2所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：在步驟1中，對句子節(jié)點的向量化處理采用max-pooling的方法。

5.根據(jù)權(quán)利要求1所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：步驟1中結(jié)構(gòu)圖的特征矩陣為其中，n⁺表示單詞和句子節(jié)點的總數(shù)，m表示節(jié)點的特征維度；X的前n行存放n個句子節(jié)點，第n+1行開始存放單詞節(jié)點，特征矩陣的表示方式為：

其中，表示第i個句子的單詞序列，l_i表示其長度。

6.根據(jù)權(quán)利要求1所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：步驟1中的結(jié)構(gòu)圖包括三種鄰接邊：單詞節(jié)點之間的邊、單詞節(jié)點和句子節(jié)點之間的邊、自環(huán)邊；

對于單詞節(jié)點之間的邊，采用PMI指標來衡量邊的權(quán)重；

對于單詞節(jié)點和句子節(jié)點之間的邊，在一個句子節(jié)點中，它與它所包含的每一個單詞節(jié)點之間都存在一條權(quán)重為1的連邊；

對于自環(huán)邊，所有的單詞節(jié)點和句子節(jié)點都設置一條權(quán)重為1的自環(huán)邊；

鄰接矩陣的表示方式為：

7.根據(jù)權(quán)利要求6所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：所述PMI指標的計算公式為：

其中，#W表示所有的滑動窗口數(shù)，#W(i)表示出現(xiàn)過單詞i的窗口數(shù)，#W(i，j)表示同時出現(xiàn)過單詞i、單詞j的窗口數(shù)，p(i)、p(j)分別表示所有滑動窗口中，單詞i和單詞j各自出現(xiàn)的頻率，p(i，j)表示所有滑動窗口中，單詞i和單詞j共同出現(xiàn)的頻率。

8.根據(jù)權(quán)利要求1所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：在步驟2中計算得到歸一化的對稱鄰接矩陣的過程為：

根據(jù)鄰接矩陣計算得到度矩陣：

采用度矩陣D和鄰接矩陣A計算得到歸一化的對稱鄰接矩陣：

9.根據(jù)權(quán)利要求1所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：步驟3中，基于門控圖神經(jīng)網(wǎng)絡對結(jié)構(gòu)圖進行迭代的計算過程為：

z^t＝σ(W_za^t+U_zh^t-1+b_z)

r^t＝σ(W_ra^t+U_rh^t-1+b_r)

其中，h⁰＝X，σ是sigmoid函數(shù)，所有的W、U和b都是可訓練的參數(shù)，z和r分別代表更新門，以決定鄰接信息對于當前節(jié)點的貢獻程度。

10.根據(jù)權(quán)利要求1所述的基于篇章結(jié)構(gòu)圖網(wǎng)絡的話題分割方法，其特征在于：步驟4中，將句子向量表示序列送入雙向長短時記憶網(wǎng)絡模型進行訓練，所述雙向長短時記憶網(wǎng)絡模型使用一層全連接層和歸一化層來將每一個句子的隱藏層向量映射到一個0到1的概率值，如果這個概率值小于0.5，表明當前句子不是話題的轉(zhuǎn)移點；如果這個概率值大于0.5，表明當前句子的前后出現(xiàn)了話題的轉(zhuǎn)移點。