[發(fā)明專利]模型訓(xùn)練方法及系統(tǒng)及裝置及介質(zhì)在審
| 申請?zhí)枺?/td> | 202110582823.X | 申請日： | 2021-05-27 |
| 公開（公告）號： | CN113282750A | 公開（公告）日： | 2021-08-20 |
| 發(fā)明（設(shè)計(jì)）人： | 李鑫;翁洋;王竹;其他發(fā)明人請求不公開姓名 | 申請（專利權(quán)）人： | 成都數(shù)之聯(lián)科技有限公司 |
| 主分類號： | G06F16/35 | 分類號： | G06F16/35;G06K9/62 |
| 代理公司： | 成都云縱知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51316 | 代理人： | 熊曦;陳婉鵑 |
| 地址： | 610041 四川省成都市*** | 國省代碼： | 四川;51 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 模型 訓(xùn)練 方法 系統(tǒng) 裝置 介質(zhì) | ||
1.裁判文書案由歸類模型訓(xùn)練方法，其特征在于，所述方法包括：
從裁判文書庫中獲取已進(jìn)行案由歸類的裁判文書作為第一裁判文書數(shù)據(jù)；
從所述第一裁判文書數(shù)據(jù)中提取樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括法院認(rèn)定事實(shí)和裁判依據(jù)中的任意一種或兩種；
通過所述樣本數(shù)據(jù)輸入transformerXL模型進(jìn)行訓(xùn)練，得到第二裁判文書案由歸類模型。
2.根據(jù)權(quán)利要求1所述的裁判文書案由歸類模型訓(xùn)練方法，其特征在于，本方法將所述樣本數(shù)據(jù)劃分為固定長度的文本片段，然后將所述文本片段依次輸入所述第一裁判文書案由歸類模型中訓(xùn)練所述第一裁判文書案由歸類模型。
3.根據(jù)權(quán)利要求2所述的裁判文書案由歸類模型訓(xùn)練方法，其特征在于，本方法中所述文本片段的固定長度為64。
4.根據(jù)權(quán)利要求2所述的裁判文書案由歸類模型訓(xùn)練方法，其特征在于，每個(gè)文本片段的長度為L，相鄰的兩個(gè)文本片段為Sτ和Sτ+1，Sτ＝[xτ1,xτ2,…,xτ,L]，Sτ+1＝[xτ+1,1,xτ+1,2,…,xτ+1,L]，Sτ產(chǎn)生的第n層的隱藏層狀態(tài)序列為hτn∈RL×d，d為隱藏層的維度；Sτ+1的第n層的隱藏層序列計(jì)算公式包括：
qτ+1n,kτ+1n,vτ+1n＝hτ+1n-1WqT,hτ+1n-1WkT,hτ+1n-1WvT (2)
hτ+1n＝Transformer-Layer(qτ+1n,kτ+1n,vτ+1n) (3)
其中：SG()表示梯度停止，表示hu和hv的拼接，W為模型的參數(shù)，τ+1表示下一文本片段，τ表示上一文本片段。
5.根據(jù)權(quán)利要求4所述的裁判文書案由歸類模型訓(xùn)練方法，其特征在于，所述第一裁判文書案由歸類模型處理完當(dāng)前的文本片段Sτ后，所述第一裁判文書案由歸類模型將文本片段Sτ的隱藏層狀態(tài)序列存儲，在處理下一個(gè)文本片段Sτ+1時(shí)，將文本片段Sτ的隱藏層狀態(tài)序列作為上下文信息擴(kuò)展。
6.根據(jù)權(quán)利要求1所述的裁判文書案由歸類模型訓(xùn)練方法，其特征在于，所述從所述第一裁判文書數(shù)據(jù)中提取樣本數(shù)據(jù)具體包括：將所述第一裁判文書數(shù)據(jù)結(jié)構(gòu)化處理得到第三裁判文書數(shù)據(jù)，從所述第三裁判文書數(shù)據(jù)中提取法院認(rèn)定事實(shí)和/或裁判依據(jù)數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的裁判文書案由歸類模型訓(xùn)練方法，其特征在于，所述方法包括：
從裁判文書庫中獲得無案由標(biāo)記的第二裁判文書數(shù)據(jù)；
將所述第二裁判文書數(shù)據(jù)輸入由權(quán)利要求1-6中任意一個(gè)所述第二裁判文書案由歸類模型中，所述第二裁判文書案由歸類模型輸出所述第二裁判文書數(shù)據(jù)的案由分類結(jié)果。
8.裁判文書案由歸類模型訓(xùn)練系統(tǒng)，其特征在于，所述系統(tǒng)包括：
獲取單元，用于從裁判文書庫中獲取已進(jìn)行案由歸類的裁判文書作為第一裁判文書數(shù)據(jù)；
樣本數(shù)據(jù)獲得單元，用于從所述第一裁判文書數(shù)據(jù)中提取樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括法院認(rèn)定事實(shí)和裁判依據(jù)中的任意一種或兩種；
模型訓(xùn)練單元，用于通過所述樣本數(shù)據(jù)輸入transformerXL模型進(jìn)行訓(xùn)練，得到第二裁判文書案由歸類模型。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于成都數(shù)之聯(lián)科技有限公司，未經(jīng)成都數(shù)之聯(lián)科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110582823.X/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
