[發明專利]一種法律文書閱讀模型及構建方法

在審

• 申請號: 202011092280.5
• 申請日: 2020-10-13
• 公開（公告）號: CN112329441A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 張引;胡剛;杜錦陽;劉銓;張可
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/295;G06F40/30;G06F40/126;G06F16/35;G06N3/04;G06Q50/18
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 何健雄;廖祥文

1.一種法律文書閱讀模型的構建方法，其特征在于：包括以下步驟：

一、Bert層對輸入的篇章和問題進行編碼；

二、特征融合層融合詞性標注和命名實體標注向量；

三、建模層對片段提取預測和是非類型判斷的建模；

四、輸出層輸出片段預測和是非概率預測。

2.根據權利要求1所述的一種法律文書閱讀模型的構建方法，其特征在于：Bert層的編碼過程包括：

1.1、對輸入的篇章和問題進行整理，并整理為三個序列：

(1)單詞的詞典映射序列：

其中，[CLS]和[SEP]為間隔符，問題序列為token₁,...,token_n，長度為n，篇章序列為token₁,...,token_m，長度為m；

(2)前后句標記序列，問題序列被標記為A，篇章序列被標記為B：{E_A,...,E_A,E_B,...,E_B}；

(3)單詞位置序列，問題的位置序列為E₀,...,E_n，篇章的位置序列為E₀',...,E_m'：{E₀,...,E_n,E₀,...,E_m}；

1.2、將單詞的詞典映射序列、前后句標記序列和單詞位置序列求和并進行編碼處理，得到編碼結果：

{E_[CLS]',E₁',...,E_n',E_[SEP]',E₁',...,E_m',E_[SEP]'}。

3.根據權利要求2所述的一種法律文書閱讀模型的構建方法，其特征在于：特征融合層融合詞性標注和命名實體標注向量后，得到包含富特征的語義編碼向量M_t：

M_t＝[E_t'；C_t]t∈[1,n+m+3]；

得到M序列，表示為M＝{M₁,M₂,...,M_t}。

4.根據權利要求3所述的一種法律文書閱讀模型的構建方法，其特征在于：建模層對片段提取預測的建模方法為：使用一個雙向LSTM網絡，在時間步t上逐時序地處理前向語義編碼向量和后向語義編碼向量得到前向和后向的上下文向量和將兩者連接，得到最終的上下文向量L_t，公式如下：

5.根據權利要求4所述的一種法律文書閱讀模型的構建方法，其特征在于：建模層對是非類型判斷的建模方法為：

3.1、自注意力層使用激活函數為relu的前饋網絡，對特征融合層傳遞過來M序列中的前后元素M_i和M_j求取注意力值，并使用注意力值得到一個新的融合公式如下：

3.2、使用了平均池化層對新的融合進行處理，得到池化輸出P_i：

6.根據權利要求5所述的一種法律文書閱讀模型的構建方法，其特征在于：輸出層使用MLP多層感知機實現，對于片段預測的輸出：

其中，start_logit為篇章token作為答案起始位置概率，end_logit為篇章token作為答案終止位置的概率，W_span和b_span為輸出層的權值和偏置；

對于是非預測的輸出：

其中，Yes_logit為答案是“Yes”的概率，No_logit為答案是“No”的概率，W_{yes_no}和b_{yes_no}為權值和偏置。