[發(fā)明專利]一種基于圖循環(huán)神經(jīng)網(wǎng)絡(luò)的事件事實(shí)性檢測方法

有效

• 申請?zhí)枺?/td>: 202011626720.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112686040B
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 黃河燕;劉嘯
• 申請（專利權(quán)）人: 北京理工大學(xué);北京理工大學(xué)東南信息技術(shù)研究院
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06N3/04
• 代理公司: 北京正陽理工知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 張利萍

1.一種基于圖循環(huán)神經(jīng)網(wǎng)絡(luò)的事件事實(shí)性檢測方法，其特征在于，包括以下步驟：

訓(xùn)練一個(gè)圖循環(huán)神經(jīng)網(wǎng)絡(luò)事件事實(shí)性檢測器，包括一個(gè)文本編碼器、一個(gè)有向圖編碼器和一個(gè)真實(shí)性分值回歸器；

其中，所述文本編碼器是參數(shù)會隨著訓(xùn)練而微調(diào)的BERT編碼器；

所述有向圖編碼器是擴(kuò)展建模了邊的方向和類別標(biāo)簽的圖循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器；

所述真實(shí)性分值回歸器是一個(gè)多層堆疊的全連接神經(jīng)網(wǎng)絡(luò)模型；所述有向圖為根據(jù)文本依存樹構(gòu)建的包含邊類別標(biāo)簽的有向圖；

步驟1：建立帶有事實(shí)性分值標(biāo)注的“事件指示詞-句子對”訓(xùn)練樣本，對樣本中的文本建立有向圖，記錄事件指示詞在其中的位置，作為圖循環(huán)神經(jīng)網(wǎng)絡(luò)事件事實(shí)性檢測器的輸入，由此訓(xùn)練出圖循環(huán)神經(jīng)網(wǎng)絡(luò)事件事實(shí)性檢測器；

步驟1.1：從文本中找出事件指示詞，形成“事件指示詞-句子對”語料；

步驟1.2：對每一個(gè)“事件指示詞-句子對”，標(biāo)注一個(gè)事件事實(shí)性分值，形成訓(xùn)練樣本；

步驟1.3：對“事件指示詞-句子對”語料中的句子進(jìn)行依存解析，得到依存解析樹，加上自環(huán)和序列邊，形成以詞為節(jié)點(diǎn)的有向圖；

步驟1.4：利用文本編碼器，獲得詞嵌入；

步驟1.5：將詞嵌入和有向圖輸入圖循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器，獲得節(jié)點(diǎn)表示和圖表示；

步驟1.6：利用縮放點(diǎn)積注意力機(jī)制算法和節(jié)點(diǎn)表示，計(jì)算出以事件指示詞為中心的詞嵌入；

步驟1.7：將以事件指示詞為中心的詞嵌入和圖表示進(jìn)行向量拼接，利用真實(shí)性分值回歸器計(jì)算事實(shí)性分值；

步驟1.8：利用計(jì)算得到的事實(shí)性分值和標(biāo)注的事實(shí)性分值，計(jì)算smooth L1損失函數(shù)；利用Adam優(yōu)化算法進(jìn)行訓(xùn)練，優(yōu)化文本編碼器、有向圖編碼器和真實(shí)性分值回歸器中的參數(shù)；

優(yōu)化結(jié)束后，得到包含最優(yōu)參數(shù)的圖循環(huán)神經(jīng)網(wǎng)絡(luò)事件事實(shí)性檢測器；

步驟2：找到待計(jì)算的事件指示詞在文本中出現(xiàn)的位置，對文本建立有向圖；使用文本編碼器獲得詞嵌入，使用有向圖編碼器獲得節(jié)點(diǎn)表示、邊表示和圖表示，使用真實(shí)性分值回歸器獲得事件指示詞的事實(shí)性分值；

其中，所述詞嵌入、節(jié)點(diǎn)表示、邊表示和圖表示，均為多維實(shí)值向量；

其中，所述事實(shí)性分值為區(qū)間[-3,+3]中的有理數(shù)分值，越靠近+3表示事實(shí)性越高，越靠近-3表示事實(shí)性越低。

2.如權(quán)利要求1所述的一種基于圖循環(huán)神經(jīng)網(wǎng)絡(luò)的事件事實(shí)性檢測方法，其特征在于，步驟1.4包括以下步驟：

步驟1.4.1：使用BERT tokenizer，將句子切分為subword序列，并記錄每一個(gè)詞對應(yīng)的subword序列范圍；

步驟1.4.2：將subword序列輸入BERT編碼器，得到模型最后一層對每一個(gè)subword的輸出向量；

步驟1.4.3：根據(jù)每一個(gè)詞所對應(yīng)的subword序列范圍，將范圍中第一個(gè)subword的輸出向量作為這個(gè)詞的詞嵌入。

3.如權(quán)利要求1所述的一種基于圖循環(huán)神經(jīng)網(wǎng)絡(luò)的事件事實(shí)性檢測方法，其特征在于，步驟1.5包括以下步驟：

步驟1.5.1：初始化節(jié)點(diǎn)表示和圖表示為零值向量；

步驟1.5.2：根據(jù)步驟1.3中的有向圖和當(dāng)前節(jié)點(diǎn)表示，利用縮放點(diǎn)積注意力機(jī)制算法，為每一個(gè)節(jié)點(diǎn)分別計(jì)算出邊和入邊的貢獻(xiàn)度，并利用softmax進(jìn)行歸一化；

步驟1.5.3：根據(jù)貢獻(xiàn)度作為權(quán)重，以及步驟1.3中的有向圖和當(dāng)前節(jié)點(diǎn)表示，為每一個(gè)節(jié)點(diǎn)i，對每一條出邊i,j或入邊j,i，從邊類別表中以類別標(biāo)簽為鍵查詢邊表示；

步驟1.5.4：為每一個(gè)節(jié)點(diǎn)i，對每一條出邊i,j或入邊j,i，將端點(diǎn)j的節(jié)點(diǎn)表示與邊表示進(jìn)行拼接，以步驟1.5.2中計(jì)算的貢獻(xiàn)度為權(quán)重，分別為出邊和入邊計(jì)算加權(quán)和，作為該節(jié) 點(diǎn)的出邊和入邊的語境表示；

步驟1.5.5：為每個(gè)節(jié)點(diǎn)，將詞嵌入、語境表示和圖表示進(jìn)行拼接，作為輸入向量，將節(jié)點(diǎn)表示作為隱狀態(tài)向量，利用單步GRU單元更新算法，計(jì)算新的節(jié)點(diǎn)表示；

步驟1.5.6：將新的節(jié)點(diǎn)表示計(jì)算平均值作為輸入向量，將圖表示作為隱狀態(tài)向量，利用單步GRU單元更新算法計(jì)算新的圖表示；根據(jù)圖循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器的層數(shù)T，重復(fù)T次步驟1.5.2至步驟1.5.6。