[發明專利]模型訓練方法、信息抽取方法、裝置、設備及存儲介質在審
| 申請號: | 202210115404.X | 申請日: | 2022-02-07 |
| 公開(公告)號: | CN114153978A | 公開(公告)日: | 2022-03-08 |
| 發明(設計)人: | 顧文斌;孫勇;丁雪純;于業達;羅豐 | 申請(專利權)人: | 杭州恒生聚源信息技術有限公司;上海恒生聚源數據服務有限公司 |
| 主分類號: | G06F16/35 | 分類號: | G06F16/35;G06F40/289;G06F40/295 |
| 代理公司: | 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463 | 代理人: | 曹瑞敏 |
| 地址: | 310018 浙江省杭州市杭州經濟技術*** | 國省代碼: | 浙江;33 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 模型 訓練 方法 信息 抽取 裝置 設備 存儲 介質 | ||
1.一種模型訓練方法,其特征在于,包括:
獲取針對多個預設字段的樣本數據,針對每個預設字段的樣本數據包括所述每個預設字段的字段名、所述字段名的字段值以及句子文本,其中,所述多個預設字段為存在關聯關系的字段;
對所述句子文本進行分類識別,得到分類識別結果,所述分類識別結果用于指示所述句子文本中是否包括所述每個預設字段對應的字段值;
對所述句子文本中的字段值進行序列標注,得到序列標注結果;
根據所述分類識別結果以及所述序列標注結果進行模型訓練,得到閱讀理解模型。
2.根據權利要求1所述的方法,其特征在于,所述獲取針對多個預設字段的樣本數據,包括:
獲取針對所述多個預設字段的第一正樣本數據,所述每個預設字段的第一正樣本數據包括所述每個預設字段的字段名、所述字段名的字段值以及所述字段值所在的第一正句子文本;
確定樣本文件的多個句子文本中所述第一正句子文本之外的句子文本為負句子文本;
生成針對所述多個預設字段的負樣本數據,所述每個預設字段的負樣本數據包括所述每個預設字段的字段名、所述字段名的預設空值以及負句子文本,針對所述多個預設字段的樣本數據包括所述第一正樣本數據和所述負樣本數據。
3.根據權利要求2所述的方法,其特征在于,所述獲取針對多個預設字段的樣本數據,還包括:
調整所述第一正句子文本中的字段值,得到第二正句子文本;
生成針對所述多個預設字段的第二正樣本數據,所述每個預設字段的第二樣本數據包括所述每個預設字段的字段名、調整后的所述字段名的字段值以及第二正句子文本,所述針對多個預設字段的樣本數據還包括:所述第二正樣本數據。
4.根據權利要求3所述的方法,其特征在于,所述調整所述第一正句子文本中的字段值,得到第二正句子文本,包括:
根據其他第一正句子文本中的字段值,調整目標第一正句子文本中的字段值;
確定調整后的目標第一正句子文本為所述第二正句子文本。
5.根據權利要求2所述的方法,其特征在于,所述確定樣本文件的多個句子文本中所述第一正句子文本之外的句子文本為負句子文本,包括:
確定樣本文件的多個句子文本中所述第一正句子文本之外的句子文本為候選負句子文本;
計算所述候選負句子文本與所述第一正句子文本的最大公共字串長度;
根據所述最大公共字串長度,對所述候選負句子文本進行過濾,得到所述負句子文本。
6.根據權利要求1所述的方法,其特征在于,所述根據所述分類識別結果以及所述序列標注結果進行模型訓練,得到閱讀理解模型,包括:
根據所述分類識別結果和所述句子文本的實際分類識別結果,得到分類預測損失;
根據所述字段名的字段值和所述句子文本,獲取所述句子文本的實際序列標注結果;
根據所述序列標注結果和所述實際序列標注結果,得到序列標注損失;
根據所述分類預測損失和所述序列標注損失進行模型訓練,得到所述閱讀理解模型。
7.一種信息抽取方法,其特征在于,包括:
根據權利要求1至6任一項訓練得到的閱讀理解模型對待抽取句子文本進行處理,得到所述待抽取句子文本中所述多個預設字段分別對應的字段值;
根據所述多個預設字段的關聯關系,對所述多個預設字段對應的字段值進行關聯,得到結構化數據,所述結構化數據中包括所述多個預設字段以及所述多個預設字段分別對應的字段值。
8.根據權利要求7所述的方法,其特征在于,所述根據所述多個預設字段的關聯關系,對所述多個預設字段對應的字段值進行關聯,得到結構化數據,包括:
根據所述多個預設字段的關聯關系,生成字段關聯關系樹,所述字段關聯關系樹中包括所述多個預設字段構成的父節點和子節點;
將所述父節點對應的字段值和所述子節點對應的字段值進行關聯,得到所述結構化數據。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于杭州恒生聚源信息技術有限公司;上海恒生聚源數據服務有限公司,未經杭州恒生聚源信息技術有限公司;上海恒生聚源數據服務有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202210115404.X/1.html,轉載請聲明來源鉆瓜專利網。
- 信息記錄介質、信息記錄方法、信息記錄設備、信息再現方法和信息再現設備
- 信息記錄裝置、信息記錄方法、信息記錄介質、信息復制裝置和信息復制方法
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄設備、信息重放設備、信息記錄方法、信息重放方法、以及信息記錄介質
- 信息存儲介質、信息記錄方法、信息重放方法、信息記錄設備、以及信息重放設備
- 信息存儲介質、信息記錄方法、信息回放方法、信息記錄設備和信息回放設備
- 信息記錄介質、信息記錄方法、信息記錄裝置、信息再現方法和信息再現裝置
- 信息終端,信息終端的信息呈現方法和信息呈現程序
- 信息創建、信息發送方法及信息創建、信息發送裝置





