[發明專利]用于分詞的方法和裝置

有效

• 申請號: 201811076566.7
• 申請日: 2018-09-14
• 公開（公告）號: CN109190124B
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 鄧江東
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 11204 北京英賽嘉華知識產權代理有限責任公司
• 代理人: 王達佐;馬曉亞<國際申請>=<國際公布>

1.一種用于分詞的方法，包括：

獲取預設詞匯集合和待分詞文本，其中，預設詞匯集合為基于預設文本集合預先生成的詞匯集合，預設詞匯集合中的詞匯包括第一信息和第二信息，第一信息用于表征詞匯在預設文本集合中出現的概率，對于預設詞匯集合中的詞匯，第二信息用于表征在預設文本集合中，以除該詞匯以外的詞匯出現作為條件，該詞匯出現的條件概率；

基于所述預設詞匯集合，對所述待分詞文本進行分詞，獲得至少一個詞匯序列；

對于所述至少一個詞匯序列中的詞匯序列，確定該詞匯序列中的詞匯的第一信息和第二信息，以及基于所確定的第一信息和第二信息，確定該詞匯序列的概率，其中，對于詞匯序列中的詞匯，該詞匯的第二信息為基于與該詞匯相鄰的詞匯確定出的第二信息；

從至少一個詞匯序列中選取概率最大的詞匯序列作為分詞結果。

2.根據權利要求1所述的方法，其中，所述基于所確定的第一信息和第二信息，確定該詞匯序列的概率，包括：

對該詞匯序列中相鄰的兩個詞匯進行連線，生成分詞路徑，其中，分詞路徑的節點由該詞匯序列中的詞匯表征，分詞路徑的邊為用于連接詞匯的線；

基于該詞匯序列中的詞匯的第一信息和第二信息，確定分詞路徑的邊的權重；

基于所確定的權重，確定該詞匯序列的概率。

3.根據權利要求1所述的方法，其中，對于詞匯序列中的詞匯，該詞匯的第二信息為基于與該詞匯相鄰，且位于該詞匯之前的詞匯確定出的第二信息。

4.根據權利要求3所述的方法，其中，所述確定該詞匯序列中的詞匯的第二信息，包括：

對于該詞匯序列中的詞匯，執行以下步驟：確定該詞匯序列是否包括與該詞匯相鄰，且位于該詞匯之前的詞匯；響應于確定包括，基于與該詞匯相鄰，且位于該詞匯之前的詞匯，確定該詞匯的第二信息。

5.根據權利要求1所述的方法，其中，所述預設詞匯集合通過以下生成步驟獲得：

獲取所述預設文本集合和針對所述預設文本集合中的預設文本預先標注的樣本分詞結果；

將所述預設文本集合中的預設文本作為輸入，將所輸入的預設文本所對應的樣本分詞結果作為期望輸出，利用機器學習方法，訓練得到分詞模型；

利用所述分詞模型對所述預設文本集合中的預設文本進行分詞，獲得第一分詞結果；

基于所獲得的第一分詞結果，生成初始詞匯集合，其中，初始詞匯集合中的詞匯包括基于所獲得的第一分詞結果確定出的第一信息；

基于所述初始詞匯集合，對所述預設文本集合中的預設文本進行分詞，獲得第二分詞結果；

基于所述初始詞匯集合和所獲得的第二分詞結果，生成所述預設詞匯集合，其中，預設詞匯集合中的詞匯包括第一信息和基于所獲得的第二分詞結果確定出的第二信息。

6.根據權利要求5所述的方法，其中，所述訓練得到分詞模型，包括：

對預先確定的至少兩個初始模型進行訓練，得到至少兩個分詞模型；以及

所述利用所述分詞模型對所述預設文本集合中的預設文本進行分詞，獲得第一分詞結果，包括：

利用所述至少兩個分詞模型對所述預設文本集合中的預設文本進行分詞，獲得至少兩個第一分詞結果。

7.根據權利要求6所述的方法，其中，在所述基于所獲得的第一分詞結果，生成初始詞匯集合之前，所述生成步驟還包括：

從所獲得的至少兩個第一分詞結果中提取相同的詞匯；以及

所述基于所獲得的第一分詞結果，生成初始詞匯集合，包括：

基于所提取的詞匯和所獲得的第一分詞結果，生成初始詞匯集合。

8.根據權利要求1所述的方法，其中，所述對所述待分詞文本進行分詞，獲得至少一個詞匯序列，包括：

對所述待分詞文本和預設文本格式進行匹配，以確定所述待分詞文本是否包括與所述預設文本格式相匹配的文本；

響應于確定包括，基于所述預設詞匯集合和所確定的、相匹配的文本，對所述待分詞文本進行分詞，獲得至少一個詞匯序列，其中，詞匯序列包括所確定的、相匹配的文本。