[發明專利]一種基于深度混合網絡的面向跨域立案的法律文書專業管轄權識別方法

有效

• 申請號: 202010654090.1
• 申請日: 2020-07-09
• 公開（公告）號: CN111859936B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 陳志奎;李超杰;鐘芳明
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/35;G06N3/04;G06N3/08;G06Q50/18
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;潘迅

1.一種基于深度混合網絡的面向跨域立案的法律文書專業管轄權識別方法，其特征在于，包括以下步驟：

步驟1、文本的向量化表示；

采用結巴分詞模塊對文本數據進行分詞處理，采用百度停用詞列表刪除在文本中沒有實際意義的停用詞，再統計文本中單詞出現的頻率，選出Top5000的高頻詞匯作為詞匯表；利用Word2Vec完成預訓練，將單詞轉化為詞嵌入向量，利用預訓練得到的詞向量替換文本數據中的單詞，并將文本數據填充為統一的長度，將可變長度的文本數據轉換為固定大小的l*k維矩陣的輸入文本，其中l表示文檔中單詞的數量，k表示預訓練單詞轉化為向量后的維度；

步驟2、TextCNN模塊提取文本數據的空間結構特征；

對于輸入文本經過向量化處理之后得到的嵌入層E₁，將數據表示為X∈R^l×k，其中l表示文檔中單詞的數量，k表示預訓練單詞轉化為向量后的維度；卷積核的大小為w∈R^d×k，其中d代表該卷積核提取到的單詞個數；每次操作都是對嵌入層E₁中的d個單詞進行卷積運算，通過公式(1)得到對應的特征提取結果q_j；

q_j＝f(w·x_j:j+d+b) (1)

其中，b代表偏置項，j代表卷積運算在數據X中的起始位置，f代表ReLU激活函數；共選擇使用n個卷積核完成特征提取的任務，得到的特征提取結果如公式(2)所示；

Q＝[q₁,q₂,...,q_n] (2)

其中，q_i對應著第i個卷積核捕獲的特征提取結果；將n個卷積核設置為相同大小，學習互補性的特征；在每次卷積運算之后，使用最大池化運算獲得特征提取結果中的最大值，獲得其中的顯著特征，降低該模塊的復雜度；

步驟3、TextRNN模塊提取文本數據的序列信息特征；

在每個時刻t，LSTM通過吸收前一時刻的隱藏狀態h_t-1和單元狀態c_t-1以及當前時刻的輸入x_t，生成當前時刻的隱藏狀態h_t和單元狀態c_t；c_t的計算過程如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (3)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (4)

h_t的計算過程如下：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (7)

其中，σ代表Sigmoid函數，·代表矩陣乘法，代表逐元素乘法；f_t、i_t和o_t分別代表遺忘門、輸入門和輸出門的輸出結果；W_f、W_i和W_o分別代表遺忘門、輸入門和輸出門的權重；b_f、b_i和b_o分別代表遺忘門、輸入門和輸出門的偏差；W_c和b_c分別代表更新單元狀態的權重和偏差；代表當前時刻單元狀態的更新值；輸出門最后時刻的隱藏狀態h_{t_last}用作該模塊的輸出，作為文本數據的序列信息特征捕獲結果；

步驟4、基于張量的特征融合；

張量是矢量在高維空間中的擴展，N階張量表示為其中N是張量的階數，I_n是張量在第n階的維數；對于一個N階張量和一個M階張量它們的外積產生一個(M+N)階張量其中的元素定義為：

其中，a和b分別是張量A和B中的元素；采用張量外積的方式，將TextCNN模塊和TextRNN模塊分別提取到的文本數據的空間結構特征Q和序列信息特征h_{t_last}構造成高階的數據塊X^s作為文本數據的特征融合結果，并將其作為下一階段soft-max分類函數的輸入；

步驟5、soft-max分類，得到案件的專業管轄權結果；

將文本數據的特征融合結果X^s作為soft-max分類器層的輸入，并輸出一個r維的類別向量y，其中r和專業管轄權類別的數量相等，且y中每一個元素的數值范圍為0-1；

soft-max使用歸一化指數函數估計類概率，計算過程如下式：

其中，u代表專業管轄權所屬的類別；K代表專業管轄權所屬的類別集合；W_p和b_p分別代表soft-max分類器層的權重和偏差；

選擇概率最大的類別標簽作為該案件專業管轄權的識別結果。