[發明專利]一種分詞結果選擇方法和裝置

有效

• 申請號: 201611228812.7
• 申請日: 2016-12-27
• 公開（公告）號: CN106777250B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 陳亞堂;姬晨;張淑燕
• 申請（專利權）人: 廣州市交互式信息網絡有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F40/284
• 代理公司: 北京華識知識產權代理有限公司 11530
• 代理人: 劉艷玲

1.一種分詞結果選擇裝置，其特征在于，所述裝置包括：獲取單元、處理單元、測試單元、確定單元、輸出單元，其中，

所述獲取單元，用于獲取訓練數據集、驗證數據集和測試數據，所述測試數據包括：至少一個分詞序列；

所述處理單元，用于通過預設方法、所述訓練數據集和所述驗證數據集，構建測試模型；

所述測試單元，用于通過所述測試模型分別對所述至少一個分詞序列中的每一個分詞序列進行測試，獲得與所述至少一個分詞序列對應的至少一個測試分值，一個分詞序列對應一個測試分值；

所述確定單元，用于確定所述至少一個測試分值中最大分值對應的分詞序列為最優分詞序列；

所述輸出單元，用于將所述最優分詞序列輸出至搜索引擎，以使得所述搜索引擎根據所述最優分詞序列建立索引。

2.根據權利要求1所述的裝置，其特征在于，所述處理單元，用于通過循環神經網絡測試工具對所述訓練數據集進行訓練，并通過所述驗證數據集進行驗證，構建測試模型。

3.根據權利要求1所述的裝置，其特征在于，所述獲取單元，用于獲取分詞器對預設語句分詞處理獲得的至少一個分詞序列。

4.根據權利要求1所述的裝置，其特征在于，所述處理單元，用于構建循環神經網絡，建立循環神經網絡測試工具。

5.一種分詞結果選擇方法，其特征在于，所述方法包括：

獲取訓練數據集和驗證數據集；

通過預設方法、所述訓練數據集和所述驗證數據集，構建測試模型；

獲取測試數據，所述測試數據包括：至少一個分詞序列；

通過所述測試模型分別對所述至少一個分詞序列中的每一個分詞序列進行測試，獲得與所述至少一個分詞序列對應的至少一個測試分值，一個分詞序列對應一個測試分值；

確定所述至少一個測試分值中最大分值對應的分詞序列為最優分詞序列；

將所述最優分詞序列輸出至搜索引擎，以使得所述搜索引擎根據所述最優分詞序列建立索引。

6.根據權利要求5所述的方法，其特征在于，所述通過預設方法、所述訓練數據集和所述驗證數據集，構建測試模型，包括：

通過循環神經網絡測試工具對所述訓練數據集進行訓練，并通過所述驗證數據集進行驗證，構建測試模型。

7.根據權利要求5所述的方法，其特征在于，所述獲取測試數據，包括：

獲取分詞器對預設語句分詞處理獲得的至少一個分詞序列。

8.根據權利要求5所述的方法，其特征在于，在所述獲取訓練數據集和驗證數據集之前，包括：

構建循環神經網絡，建立循環神經網絡測試工具。