[發明專利]實體命名識別模型的訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202011511008.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112613312B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 曠雄;張旭;鄭越;曾偉;方聰
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62;G06N3/08
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;陳秋波

本申請涉及人工智能技術領域，揭示了一種實體命名識別模型的訓練方法、裝置、設備及存儲介質，其中方法包括：根據訓練樣本集合和測試樣本集合對待訓練的第一實體命名識別模型進行訓練得到目標第一實體命名識別模型，目標第一實體命名識別模型包括：Bert層、BiLSTM層和第一CRF層；根據訓練樣本集合和目標第一實體命名識別模型對待訓練的第二實體命名識別模型進行訓練得到目標第二實體命名識別模型，目標第二實體命名識別模型包括：DistilBert層、第二CRF層；根據目標第二實體命名識別模型得到目標實體命名識別模型。提高了地址結構化的準確性，縮短了響應時間，提高了上線使用的實體命名識別模型對地址結構化的性能。

技術領域

本申請涉及到人工智能技術領域，特別是涉及到一種實體命名識別模型的訓練方法、裝置、設備及存儲介質。

背景技術

地址是經常用到的數據，但是由于個人習慣、經驗等原因造成用戶提供的地址不規范，導致不能將用戶提供的地址直接應用，需要將用戶提供的不規范的地址進行結構化后才能進行準確應用。業內關于地址結構化實現方案大多采用基于傳統的規則匹配算法，但是基于傳統的規則匹配算法對于不規范或形式復雜的地址的結構化效果不佳。而基于深度學習的地址結構化算法取得了較好的效果，為了得到準確的結構化結果，神經網絡的體積通常比較大，從而導致線上性能比較差。

發明內容

本申請的主要目的為提供一種實體命名識別模型的訓練方法、裝置、設備及存儲介質，旨在解決現有技術采用基于深度學習的地址結構化算法實現地址結構化，因神經網絡的體積通常比較大，導致線上性能比較差的技術問題。

為了實現上述發明目的，本申請提出一種實體命名識別模型的訓練方法，所述方法包括：

獲取多個訓練樣本，所述訓練樣本包括：地址樣本數據、樣本標定數據；

將所述多個訓練樣本按預設劃分規則進行劃分，得到訓練樣本集合和測試樣本集合；

根據所述訓練樣本集合和所述測試樣本集合對待訓練的第一實體命名識別模型進行訓練，得到目標第一實體命名識別模型，所述目標第一實體命名識別模型包括：Bert層、BiLSTM層和第一CRF層；

根據所述訓練樣本集合和所述目標第一實體命名識別模型對待訓練的第二實體命名識別模型進行訓練，得到目標第二實體命名識別模型，所述目標第二實體命名識別模型包括：DistilBert層、第二CRF層；

根據所述目標第二實體命名識別模型，得到目標實體命名識別模型。

進一步的，所述獲取多個訓練樣本的步驟之前，包括：

獲取多條待處理的地址數據，將所述待處理的地址數據作為所述地址樣本數據；

分別對每條所述地址樣本數據進行規范化處理，得到多條規范化后的地址數據；

分別對每條所述規范化后的地址數據進行預設規范范圍的重復信息的查找及刪除處理，得到多條去重后的地址數據；

分別對每條所述去重后的地址數據進行預設規范范圍的缺失數據的查找及補全處理，得到多條預處理后的地址數據；

分別對每條所述預處理后的地址數據進行地址結構化處理，得到多條所述地址樣本數據各自對應的所述樣本標定數據。

進一步的，所述分別對每條所述預處理后的地址數據進行地址結構化處理，得到多條所述地址樣本數據各自對應的所述樣本標定數據的步驟，包括：

獲取預設地址實體關鍵字和預設地址實體地址標簽數據，采用所述預設地址實體關鍵字和所述預設地址實體地址標簽數據分別對每條所述預處理后的地址數據進行逐字標注地址標簽，得到多條所述預處理后的地址數據各自對應的地址標簽序列；

將多條所述預處理后的地址數據和各自對應的所述地址標簽序列發送給審核端；