[發明專利]實體命名識別模型的訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202011511008.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112613312B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 曠雄;張旭;鄭越;曾偉;方聰
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62;G06N3/08
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;陳秋波

1.一種實體命名識別模型的訓練方法，其特征在于，所述方法包括：

獲取多個訓練樣本，所述訓練樣本包括：地址樣本數據、樣本標定數據；

將所述多個訓練樣本按預設劃分規則進行劃分，得到訓練樣本集合和測試樣本集合；

根據所述訓練樣本集合和所述測試樣本集合對待訓練的第一實體命名識別模型進行訓練，得到目標第一實體命名識別模型，所述目標第一實體命名識別模型包括：Bert層、BiLSTM層和第一CRF層；

根據所述訓練樣本集合和所述目標第一實體命名識別模型對待訓練的第二實體命名識別模型進行訓練，得到目標第二實體命名識別模型，所述目標第二實體命名識別模型包括：DistilBert層、第二CRF層；

根據所述目標第二實體命名識別模型，得到目標實體命名識別模型；

所述根據所述訓練樣本集合和所述目標第一實體命名識別模型對待訓練的第二實體命名識別模型進行訓練，得到目標第二實體命名識別模型的步驟，包括：

從所述目標第一實體命名識別模型中提取出所述第一CRF層的參數，得到目標CRF層參數；

采用所述目標CRF層參數對所述待訓練的第二實體命名識別模型的第二CRF層進行初始化，得到初始化后的第二實體命名識別模型；

分別將所述訓練樣本集合中每個所述訓練樣本的所述地址樣本數據按字拆分，得到各個所述訓練樣本各自對應的訓練地址樣本字序列；

將所述各個所述訓練樣本各自對應的訓練地址樣本字序列按預設劃分規則進行劃分，得到多個訓練地址樣本字序列組；

從所述多個訓練地址樣本字序列組中提取出一組所述訓練地址樣本字序列組作為目標訓練地址樣本字序列組；

分別將所述目標訓練地址樣本字序列組對應的每個所述訓練地址樣本字序列輸入所述目標第一實體命名識別模型的所述Bert層和所述BiLSTM層進行每個字屬于各個地址標簽的評分，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的第一地址標簽評分；

分別對所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的每個字的各個地址標簽的所述第一地址標簽評分進行地址標簽評分歸一化處理，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的第一預測概率；

分別將所述目標訓練地址樣本字序列組的每個所述訓練樣本對應的所述訓練地址樣本字序列輸入所述初始化后的第二實體命名識別模型的DistilBert層進行每個字屬于各個地址標簽的評分，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的第二地址標簽評分；

分別對所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的每個字的各個地址標簽的所述第二地址標簽評分進行地址標簽評分歸一化處理，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的第二預測概率；

分別將所述目標訓練地址樣本字序列組的每個所述訓練樣本對應的所述訓練地址樣本字序列輸入所述初始化后的第二實體命名識別模型進行每個字屬于各個地址標簽的最終評分，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的第三地址標簽評分；

分別對所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的每個字的各個地址標簽的所述第三地址標簽評分進行地址標簽評分歸一化處理，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的第三預測概率；

分別對所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的每個字的各個地址標簽的第三預測概率中找出最大值，得到所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的最大概率；

根據所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的所述第一預測概率、所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的各個地址標簽的所述第二預測概率和所述目標訓練地址樣本字序列組的各個所述訓練地址樣本字序列各自對應的各個字的所述最大概率對所述初始化后的第二實體命名識別模型進行訓練，將訓練結束的所述初始化后的第二實體命名識別模型確定為所述目標第二實體命名識別模型。