[發明專利]一種分詞和行業詞典構建方法、裝置以及可讀存儲介質

有效

• 申請號: 201911374500.0
• 申請日: 2019-12-27
• 公開（公告）號: CN111079428B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 張征;馮小琴;雷欣;李志飛
• 申請（專利權）人: 北京羽扇智信息科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/242;G06F40/216
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 江宇

1.一種分詞方法，其特征在于，所述方法包括：

獲取文本信息；

根據所獲取的文本信息中字詞所對應的領域，選取若干個對應的行業詞典；

所述行業詞典的構建方法包括：創建指定領域的行業詞典；在所創建的行業詞典中至少增設所述領域內的行業詞匯以及對應的詞頻；對所增設的行業詞匯設置詞頻等級；根據所設置的詞頻等級，對所述行業詞匯確定指定詞頻范圍內的詞頻；

所述根據所設置的詞頻等級，對行業詞匯確定指定詞頻范圍內的詞頻，包括：預先設置兩個詞頻閾值，可以分為高詞頻閾值和低詞頻閾值，若對當前行業詞匯所設置的詞頻等級為高，則給該行業詞匯隨機設置一個超過高詞頻閾值的詞頻，以確保在對文本進行分詞處理時，該詞能夠有較高概率被選定；若對當前行業詞匯所設置的詞頻等級為中，則給該行業詞匯隨機設置一個介于高詞頻閾值和低詞頻閾值之間的詞頻；若對當前行業詞匯所設置的詞頻等級為低，則給該行業詞匯隨機設置一個低于低詞頻閾值的詞頻；

利用所選取的行業詞典，對所述文本信息進行分詞處理，得到分詞結果。

2.根據權利要求1所述的方法，其特征在于，所述利用所選取的行業詞典，對所述文本信息進行分詞處理，得到分詞結果，包括：

對所述文本信息中的文字進行拆分，得到所有的分詞組合；

針對每一分詞組合，從所述行業詞典中查詢所述分詞組合中每一分詞的詞頻；

根據每一分詞組合中所有分詞所對應的詞頻，得到最優分詞組合；

將所得到的最優分詞組合作為分詞結果。

3.根據權利要求2所述的方法，其特征在于，所述根據每一分詞組合中所有分詞所對應的詞頻，得到最優分詞組合，包括：

將每一分詞組合中的所有對應于分詞的詞頻相加，分別計算得到綜合詞頻；

從所有分詞組合中選取綜合詞頻最大的分詞組合作為最優分詞組合。

4.根據權利要求2或3所述的方法，其特征在于，在選取對應的若干個行業詞典之后，所述方法還包括：

合并所選取的行業詞典，得到綜合詞典；

相應的，所述針對每一分詞組合，從所述行業詞典中查詢所述分詞組合中每一分詞的詞頻，包括：

針對每一分詞組合，從所述綜合詞典中查詢所述分詞組合中每一分詞的詞頻。

5.根據權利要求1所述的方法，其特征在于，在根據所獲取的文本信息中字詞所對應的領域，選取若干個對應的行業詞典之后，所述方法還包括：

加載所選取的行業詞典至本地端；

利用本地端的行業詞典對所述文本信息進行分詞處理，得到分詞結果。

6.一種行業詞典的構建方法，其特征在于，所述方法包括：

創建指定領域的行業詞典；

在所創建的行業詞典中至少增設所述領域內的行業詞匯以及對應的詞頻；

對所增設的行業詞匯設置詞頻等級；

根據所設置的詞頻等級，對所述行業詞匯確定指定詞頻范圍內的詞頻；

所述根據所設置的詞頻等級，對行業詞匯確定指定詞頻范圍內的詞頻，包括：預先設置兩個詞頻閾值，可以分為高詞頻閾值和低詞頻閾值，若對當前行業詞匯所設置的詞頻等級為高，則給該行業詞匯隨機設置一個超過高詞頻閾值的詞頻，以確保在對文本進行分詞處理時，該詞能夠有較高概率被選定；若對當前行業詞匯所設置的詞頻等級為中，則給該行業詞匯隨機設置一個介于高詞頻閾值和低詞頻閾值之間的詞頻；若對當前行業詞匯所設置的詞頻等級為低，則給該行業詞匯隨機設置一個低于低詞頻閾值的詞頻。