[發(fā)明專利]基于神經(jīng)自回歸分布估計(jì)的涉案新聞主題模型構(gòu)建方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010984648.2
• 申請(qǐng)日: 2020-09-18
• 公開（公告）號(hào): CN112434212B
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 毛存禮;梁昊遠(yuǎn);余正濤;郭軍軍;黃于欣;高盛祥
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/951;G06F40/216;G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 昆明人從眾知識(shí)產(chǎn)權(quán)代理有限公司 53204
• 代理人: 何嬌

1.基于神經(jīng)自回歸分布估計(jì)的涉案新聞主題模型構(gòu)建方法，其特征在于：首先構(gòu)建涉案新聞數(shù)據(jù)并預(yù)處理，得到案件要素庫(kù)和涉案詞向量；然后由iDocNADEe模型計(jì)算新聞和案件要素的雙向隱狀態(tài)；再用案件要素和新聞的雙向隱狀態(tài)構(gòu)建注意力機(jī)制，對(duì)新聞隱狀態(tài)加權(quán)；接下來(lái)利用神經(jīng)自回歸算法和案件要素加權(quán)的新聞隱狀態(tài)計(jì)算案件要素指導(dǎo)的自回歸條件概率，依據(jù)涉案新聞的自回歸條件概率構(gòu)建涉案主題模型，并利用涉案新聞主題模型進(jìn)行涉案新聞檢索；

利用詞序列v、案件要素序列k以及iDocNADEe模型和雙向語(yǔ)言模型的計(jì)算方式，結(jié)合作為涉案先驗(yàn)知識(shí)的涉案領(lǐng)域詞向量計(jì)算涉案新聞的雙向隱狀態(tài)以及新聞中包含的案件要素的雙向隱狀態(tài)；并包括了新聞在位置i的前后向隱狀態(tài)和新聞所包含的案件要素在位置i的前后向隱狀態(tài)；利用平均池化操作和案件要素隱狀態(tài)計(jì)算雙向注意力向量作為新聞中所包含的案件要素信息；利用案件要素隱狀態(tài)的雙向注意力向量與涉案新聞的雙向隱狀態(tài)計(jì)算案件要素信息與新聞文本之間的雙向相關(guān)度；利用案件要素與新聞文本的相關(guān)度構(gòu)建基于案件要素的注意力機(jī)制，從而對(duì)新聞文本的隱狀態(tài)進(jìn)行案件要素加權(quán)，使其具有案件信息。

2.根據(jù)權(quán)利要求1所述的基于神經(jīng)自回歸分布估計(jì)的涉案新聞主題模型構(gòu)建方法，其特征在于：所述構(gòu)建涉案新聞數(shù)據(jù)并預(yù)處理，得到案件要素庫(kù)和涉案詞向量包括如下：

對(duì)涉案新聞和案件本體進(jìn)行分析，根據(jù)其涉案人名、地名、事件描述以及案件觸發(fā)詞案件特征構(gòu)建案件要素庫(kù)作為模型的涉案外部知識(shí)；

利用裁判文書數(shù)據(jù)、涉案新聞數(shù)據(jù)以及word2vec算法預(yù)訓(xùn)練涉案領(lǐng)域的詞向量作為模型的涉案先驗(yàn)知識(shí)。

3.根據(jù)權(quán)利要求1所述的基于神經(jīng)自回歸分布估計(jì)的涉案新聞主題模型構(gòu)建方法，其特征在于：由iDocNADEe模型計(jì)算新聞和案件要素的雙向隱狀態(tài)具體包括：

不同于iDocNADEe的輸入，將新聞分別表示為詞序列v以及新聞中包含的案件要素序列k；

利用詞序列v、案件要素序列k以及iDocNADEe模型和雙向語(yǔ)言模型的計(jì)算方式，結(jié)合作為涉案先驗(yàn)知識(shí)的涉案領(lǐng)域詞向量計(jì)算涉案新聞的雙向隱狀態(tài)以及新聞中包含的案件要素的雙向隱狀態(tài)；

其中，和分別代表了新聞在位置i的前后向隱狀態(tài)，和分別代表了新聞所包含的案件要素在位置i的前后向隱狀態(tài)，g(·)代表sigmoid激活函數(shù)，代表前后向偏置向量，W,分別代表參數(shù)矩陣和涉案領(lǐng)域詞向量矩陣，H,V分別代表了主題數(shù)量和詞表大小，分別代表新聞中第k個(gè)詞在參數(shù)矩陣和涉案領(lǐng)域詞向量矩陣中的向量表示，分別代表新聞中第j個(gè)案件要素在參數(shù)矩陣和涉案領(lǐng)域詞向量矩陣中的向量表示，λ代表了平衡權(quán)重系數(shù)。

4.根據(jù)權(quán)利要求1所述的基于神經(jīng)自回歸分布估計(jì)的涉案新聞主題模型構(gòu)建方法，其特征在于：用案件要素和新聞的雙向隱狀態(tài)構(gòu)建注意力機(jī)制，對(duì)新聞隱狀態(tài)加權(quán)的具體步驟如下：

A、利用平均池化操作和案件要素隱狀態(tài)計(jì)算雙向注意力向量作為新聞中所包含的案件要素信息：

其中，分別代表了前向注意力向量和后向注意力向量，n為案件要素的數(shù)量；

B、利用案件要素隱狀態(tài)的雙向注意力向量與涉案新聞的雙向隱狀態(tài)計(jì)算案件要素信息與新聞文本之間的雙向相關(guān)度：

其中，分別代表了前向相關(guān)度和后向相關(guān)度，v_i為上文信息，v_＞i為下文信息，k_＜i為上文中包含的案件要素，k_＞i為下文中包含的案件要素，相關(guān)度的計(jì)算函數(shù)為點(diǎn)乘運(yùn)算：

C、利用案件要素與新聞文本的相關(guān)度構(gòu)建基于案件要素的注意力機(jī)制，從而對(duì)新聞文本的隱狀態(tài)進(jìn)行案件要素加權(quán)，使其具有案件信息：

其中，分別代表了案件信息加權(quán)的新聞文本隱狀態(tài)。

5.根據(jù)權(quán)利要求1所述的基于神經(jīng)自回歸分布估計(jì)的涉案新聞主題模型構(gòu)建方法，其特征在于：利用神經(jīng)自回歸算法和案件要素加權(quán)的新聞隱狀態(tài)計(jì)算案件要素指導(dǎo)的自回歸條件概率為：

其中，w∈{1,...,V}，分別代表前后向偏置向量，代表了連接隱藏層和輸出層的權(quán)重矩陣。