[發明專利]一種基于車載導航儀全文檢索的多語言分詞方法及裝置

在審

• 申請號: 201711209343.9
• 申請日: 2017-11-27
• 公開（公告）號: CN107992475A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 羅躍軍;姜子奇;周文昉
• 申請（專利權）人: 武漢中海庭數據技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙)42242
• 代理人: 常海濤

1.一種基于車載導航儀全文檢索的多語言分詞方法，其特征在于，包括以下步驟：

步驟1，對輸入文本進行初步處理，根據文本中的標點符號對輸入文本進行切分，若無標點符號則不切分，得到一個或多個子文本；

步驟2，判斷所述一個或多個子文本中是否存在僅包含英文字母或者僅包含英文字母和數字的子文本，如果是則將所述僅包含英文字母或者僅包含英文字母和數字的子文本作為第一子文本并對所述第一子文本做歧義判斷進行二次切分并輸出，否則將除所述第一子文本外的其他子文本作為第二子文本并執行步驟3；

步驟3，根據語言編碼識別機制，將所述第二子文本切分，得到僅包含單一語種的多個字符串；

步驟4，利用正向最大匹配算法對所述多個字符串進行切分得到最終分詞結果并輸出。

2.根據權利要求1所述一種基于車載導航儀全文檢索的多語言分詞方法，其特征在于，所述步驟1包括：

根據UNICODE編碼規則，檢索輸入文本中的標點符號以及空格符號，并將所述標點符號和空格符號構造成分隔符，將所述輸入文本分割成多個子文本，若輸入文本中不存在標點符號以及空格符號則將所述輸入文本作為一個獨立的子文本。

3.根據權利要求1所述一種基于車載導航儀全文檢索的多語言分詞方法，其特征在于，步驟2中所述的對所述第一子文本做歧義判斷進行二次切分，得到多個字符串，包括：

獲取車載導航儀收錄的檢索數據的言語種別，并分析所述言語種別中是否含有西方屈折語種別或漢語拼音；

若車載導航儀支持西方屈折語檢索，則對所述第一子文本不在進一步分詞；若車載導航儀支持漢語拼音檢索，則根據漢語拼音規則對所述第一子文本進行分詞；將基于西方屈折語檢索的分詞結果與基于漢語拼音規則的分析結果組合成分詞結果集并展示給用戶；

根據用戶的選擇信息確定分詞方案并輸出。

4.根據權利要求3所述一種基于車載導航儀全文檢索的多語言分詞方法，其特征在于，所述步驟3包括：

通過語言編碼識別機制識別第二子文本中所包含的語種信息，根據所述語種信息，將所述第二子文本切分成多個連續的僅包含單一語種的字符串。

5.根據權利要求4所述一種基于車載導航儀全文檢索的多語言分詞方法，其特征在于，所述步驟4包括：

設置最小切分閾值，若所述字符串中字符數量不大于所述最小切分閾值，則對該字符串不做切分，否則，從左到右將切分文本中的幾個連續字符按照正向最大匹配算法進行切分，針對切分過程中可能產生的多個切分方案，按照以下原則進行篩選確認并輸出：

1)切分后的字符串長度越長，優先級越高；

2)切分后的字符串個數越少，優先級越高。

6.一種基于車載導航儀全文檢索的多語言分詞裝置，其特征在于，包括：

預處理模塊，用于對輸入文本進行初步處理，根據文本中的標點符號對輸入文本進行切分，若無標點符號則不切分，得到一個或多個子文本；

歧義判斷模塊，用于判斷所述一個或多個子文本中是否存在僅包含英文字母或者僅包含英文字母和數字的子文本，如果是則將所述僅包含英文字母或者僅包含英文字母和數字的子文本作為第一子文本并對所述第一子文本做歧義判斷進行二次切分；

語種切分模塊，用于根據語言編碼識別機制，將所述第二子文本切分，得到僅包含單一語種的多個字符串；

分詞結果生成模塊，用于利用正向最大匹配算法對所述多個字符串進行切分得到最終分詞結果。

7.根據權利要求6所述一種基于車載導航儀全文檢索的多語言分詞裝置，其特征在于，所述預處理模塊具體用于：

根據UNICODE編碼規則，檢索輸入文本中的標點符號以及空格符號，并將所述標點符號和空格符號構造成分隔符，將所述輸入文本分割成多個子文本，若輸入文本中不存在標點符號以及空格符號則將所述輸入文本作為一個獨立的子文本。