[發明專利]一種短語分割模型的訓練方法和系統

有效

• 申請號: 202010384233.1
• 申請日: 2020-05-09
• 公開（公告）號: CN111522957B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 陳顯玲;陳曉軍;崔恒斌;楊明暉
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06F40/205;G06F40/237;G06F40/289
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

本說明書的實施例公開了一種短語分割模型的訓練方法和系統，所述方法包括：基于公共知識庫獲取至少一個目標短語，目標短語包含至少兩個詞；基于目標短語從公共知識庫中獲取至少一個第一文本，第一文本包含目標短語；基于第一文本獲取非目標短語，非目標短語為第一文本的一部分，且不同于目標短語；將目標短語和第一文本構成的文本對作為正樣本，非目標樣本和第一文本構成的文本對作為負樣本；基于多組正樣本和負樣本訓練得到短語分割模型。

技術領域

本申請涉及自然語言處理領域，特別涉及一種短語分割模型的訓練的方法和系統。

背景技術

短語分割是自然語言處理（NLP，Natural?Language?Processing）領域的常見任務之一。短語分割常常用于文本檢索、文本摘要、文本分類和文本相似性計算等任務中，以便服務于問答匹配、氣泡推薦等場景。一般而言，可以通過機器學習模型進行短語分割，然而，不同領域存在各自的專業詞匯，且差異很大。

因此，希望提供一種更有效的短語分割模型的訓練方法。

發明內容

本說明書一個方面提供一種短語分割模型的訓練方法，所述方法包括：基于公共知識庫獲取至少一個目標短語，所述目標短語包含至少兩個詞；基于所述目標短語從所述公共知識庫中獲取至少一個第一文本，所述第一文本包含所述目標短語；基于所述第一文本獲取非目標短語，所述非目標短語為所述第一文本的一部分，且不同于所述目標短語；將所述目標短語和所述第一文本構成的文本對作為正樣本，所述非目標樣本和所述第一文本構成的文本對作為負樣本；基于多組所述正樣本和所述負樣本訓練得到短語分割模型。

本說明書另一個方面提供一種短語分割模型的訓練系統，所述系統包括：目標短語獲取模塊，用于基于公共知識庫獲取至少一個目標短語，所述目標短語包含至少兩個詞；第一文本獲取模塊，用于基于所述目標短語從所述公共知識庫中獲取至少一個第一文本，所述第一文本包含所述目標短語；非目標短語獲取模塊，用于基于所述第一文本獲取非目標短語，所述非目標短語為所述第一文本的一部分，且不同于所述目標短語；樣本獲取模塊，用于將所述目標短語和所述第一文本構成的文本對作為正樣本，所述非目標樣本和所述第一文本構成的文本對作為負樣本；訓練模塊，用于基于多組所述正樣本和所述負樣本訓練得到短語分割模型。

本說明書另一個方面提供一種短語分割模型的訓練裝置，包括至少一個存儲介質和至少一個處理器；所述至少一個存儲介質用于存儲計算機指令；所述至少一個處理器用于執行所述計算機指令以實現短語分割模型的訓練方法。

附圖說明

本說明書將以示例性實施例的方式進一步說明，這些示例性實施例將通過附圖進行詳細描述。這些實施例并非限制性的，在這些實施例中，相同的編號表示相同的結構，其中：

圖1是根據本說明書一些實施例所示的示例性短語分割模型的訓練系統的應用場景示意圖；

圖2是根據本說明書一些實施例所示的短語分割模型的訓練方法的示例性流程圖；

圖3是根據本說明書一些實施例所示的示例性短語分割模型獲取判定短語的示意圖；

圖4是根據本說明書一些實施例所示的示例性短語分割模型的判別過程的示意圖；

圖5是根據本說明書一些實施例所示的短語分割模型的分割效果的示意圖。

具體實施方式

為了更清楚地說明本說明書實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單的介紹。顯而易見地，下面描述中的附圖僅僅是本說明書的一些示例或實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖將本說明書應用于其它類似情景。除非從語言環境中顯而易見或另做說明，圖中相同標號代表相同結構或操作。