[發明專利]一種文本數據的分詞方法、裝置及電子設備

在審

• 申請號: 202010047645.6
• 申請日: 2020-01-16
• 公開（公告）號: CN111241833A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 劉凡
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/247
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 文季

本說明書公開了一種文本數據的分詞方法、裝置及電子設備。該分詞方法包括：通過通用分詞模型對文本數據進行分詞獲得通用分詞結果；以及獲取文本數據所屬業務領域的業務領域專有名詞；從而根據該業務領域專有名詞和通用分詞結果對文本數據進行分詞，獲得文本數據的領域分詞結果。在該技術方案中，通過分詞模型和業務領域專有名詞的結合，針對不同領域的領域分詞只需獲取對應領域的領域專有名詞即可，從而可以由了一個模型實現多個領域的領域分詞，解決了現有技術中多領域分詞需要多個領域分詞模型導致的成本過高的技術問題，降低了模型訓練和模型維護成本。

技術領域

本說明書涉及軟件技術領域，特別涉及一種文本數據的分詞方法、裝置及電子設備。

背景技術

現有技術中，不同領域往往涉及不同的領域專有名詞，如花唄、借唄、相互寶、網商貸、淘票票、周周樂、飛豬等，對分詞粒度的需求也不盡相同，往往需要對每個不同的領域訓練專有的分詞模型，來實現不同領域內的領域分詞。

發明內容

本說明書實施例提供一種文本數據的分詞方法、裝置及電子設備，用于降低多領域文本數據分詞的成本。

第一方面，本說明書實施例提供一種文本數據的分詞方法，該方法包括:

通過通用分詞模型對文本數據進行分詞獲得通用分詞結果；

獲取所述文本數據所屬業務領域的業務領域專有名詞；

根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果。

可選的，該分詞方法還包括：將所述領域分詞結果中的目標分詞替換為所述業務領域中的標準詞，其中，在所述業務領域內所述目標分詞為所述標準詞的同義詞；獲得替換后的所述領域分詞結果作為領域同義分詞結果。

可選的，所述業務領域專有名詞采用雙數組樹結構存儲，所述雙數組樹的每一個節點存儲一個字，所述雙數組樹的一個根節點到葉節點上的所有字構成一個專有名詞。

可選的，在根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果之前，所述方法還包括：

根據預設的修復規則對所述通用分詞結果進行修正，其中，所述修復規則包括詞語之間的詞性匹配規則和/或正則匹配規則；

并通過修正結果更新所述通用分詞結果。

可選的，根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果，包括：

判斷所述通用分詞結果中相鄰的通用分詞是否與所述業務領域專有名詞中的專有名詞匹配；

若判斷結果為是，將所述通用分詞結果中所述相鄰的通用分詞合并為所述專有名詞，獲得所述領域分詞結果。

可選的，所述業務領域專有名詞中包含所述業務領域專有的標準詞和所述標準詞的同義詞。

第二方面，本說明書實施例提供一種文本數據的分詞裝置，該裝置包括:

通用分詞單元，用于通過通用分詞模型對文本數據進行分詞獲得通用分詞結果；

獲取單元，用于獲取所述文本數據所屬業務領域的業務領域專有名詞，其中，所述業務領域專有名詞采用雙數組樹結構存儲；

領域分詞單元，用于根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果。

可選的，所述裝置還包括：同義分詞單元，用于將所述領域分詞結果中的目標分詞替換為所述業務領域中的標準詞，其中，在所述業務領域內所述目標分詞為所述標準詞的同義詞；獲得替換后的所述領域分詞結果作為領域同義分詞結果。