[發明專利]一種文本數據的分詞方法、裝置及電子設備

在審

• 申請號: 202010047645.6
• 申請日: 2020-01-16
• 公開（公告）號: CN111241833A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 劉凡
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/247
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 文季

1.一種文本數據的分詞方法，該方法包括:

通過通用分詞模型對文本數據進行分詞獲得通用分詞結果；

獲取所述文本數據所屬業務領域的業務領域專有名詞；

根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果。

2.如權利要求1所述的方法，所述方法還包括：

將所述領域分詞結果中的目標分詞替換為所述業務領域中的標準詞，其中，在所述業務領域內所述目標分詞為所述標準詞的同義詞；

獲得替換后的所述領域分詞結果作為領域同義分詞結果。

3.如權利要求1所述的方法，所述業務領域專有名詞采用雙數組樹結構存儲，所述雙數組樹的每一個節點存儲一個字，所述雙數組樹的一個根節點到葉節點上的所有字構成一個專有名詞。

4.如權利要求1所述的方法，在根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果之前，所述方法還包括：

根據預設的修復規則對所述通用分詞結果進行修正，其中，所述修復規則包括詞語之間的詞性匹配規則和/或正則匹配規則；

并通過修正結果更新所述通用分詞結果。

5.如權利要求1所述的方法，根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果，包括：

判斷所述通用分詞結果中相鄰的通用分詞是否與所述業務領域專有名詞中的專有名詞匹配；

若判斷結果為是，將所述通用分詞結果中所述相鄰的通用分詞合并為所述專有名詞，獲得所述領域分詞結果。

6.如權利要求1～5任一所述方法，所述業務領域專有名詞中包含所述業務領域專有的標準詞和所述標準詞的同義詞。

7.一種文本數據的分詞裝置，該裝置包括:

通用分詞單元，用于通過通用分詞模型對文本數據進行分詞獲得通用分詞結果；

獲取單元，用于獲取所述文本數據所屬業務領域的業務領域專有名詞，其中，所述業務領域專有名詞采用雙數組樹結構存儲；

領域分詞單元，用于根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果。

8.如權利要求7所述的裝置，所述裝置還包括：

同義分詞單元，用于將所述領域分詞結果中的目標分詞替換為所述業務領域中的標準詞，其中，在所述業務領域內所述目標分詞為所述標準詞的同義詞；獲得替換后的所述領域分詞結果作為領域同義分詞結果。

9.如權利要求7所述的裝置，所述業務領域專有名詞采用雙數組樹結構存儲，所述雙數組樹的每一個節點存儲一個字，所述雙數組樹的一個根節點到葉節點上的所有字組成一個專有名詞。

10.如權利要求7所述的裝置，所述裝置還包括：

修正單元，用于在根據所述業務領域專有名詞和所述通用分詞結果對所述文本數據進行分詞，獲得所述文本數據的領域分詞結果之前，根據預設的修復規則對所述通用分詞結果進行修正，其中，所述修復規則包括詞語之間的詞性匹配規則和/或正則匹配規則；并通過修正結果更新所述通用分詞結果。

11.如權利要求7所述的裝置，所述領域分詞單元用于：

判斷所述通用分詞結果中相鄰的通用分詞是否與所述業務領域專有名詞中的專有名詞匹配；

若判斷結果為是，將所述通用分詞結果中所述相鄰的通用分詞合并為所述專有名詞，獲得所述領域分詞結果。

12.如權利要求7～11任一所述裝置，所述業務領域專有名詞中包含所述業務領域專有的標準詞和所述標準詞的同義詞。