[發(fā)明專利]一種基于車載導(dǎo)航儀全文檢索的多語言分詞方法及裝置

在審

• 申請?zhí)枺?/td>: 201711209343.9
• 申請日: 2017-11-27
• 公開（公告）號: CN107992475A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計）人: 羅躍軍;姜子奇;周文昉
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 武漢藍寶石專利代理事務(wù)所(特殊普通合伙)42242
• 代理人: 常海濤

技術(shù)領(lǐng)域

本發(fā)明涉及車載導(dǎo)航及文字檢索技術(shù)領(lǐng)域，具體涉及一種基于車載導(dǎo)航儀全文檢索的多語言分詞方法及裝置。

背景技術(shù)

隨著檢索技術(shù)發(fā)展以及輸入法發(fā)展，傳統(tǒng)車載導(dǎo)航系統(tǒng)基于NVC的逐字檢索方案不管是從用戶體驗還是檢索效率上，已經(jīng)不能滿足當下人們對導(dǎo)航產(chǎn)品的需求。而全文檢索(Fulltextsearch)技術(shù)憑借其高效的檢索效率，應(yīng)用領(lǐng)域也是越來越廣泛。因此在車載導(dǎo)航儀上使用全文檢索技術(shù)也將成為一種趨勢。

但在使用全文檢索技術(shù)過程中，分詞技術(shù)就是其核心技術(shù)之一。分詞(Token)，就是借助計算機自動給短句或長句文本切分成一個個分詞，并使其能夠正確的表達其原來的意思。只要是與語言理解相關(guān)的領(lǐng)域，都是需要用到分詞技術(shù)的。

各個國家與地區(qū)的語言語法、書寫習慣等因素的不一致，導(dǎo)致了它們需要用不同的分詞方法。對于西方屈折語的文本單詞與單詞之間存在一個空格指示詞的邊界，根據(jù)空格和符號可以輕易分詞；但對于那些孤立語和黏著語(如中文、韓語、藏語等)的文本，每個詞之間沒有任何標志指示詞的邊界，且如果以字為單位來切分文本，不但會帶來巨大的空間消耗，更重要的是單個字檢索結(jié)果比較龐大，這樣會導(dǎo)致檢索結(jié)果與用戶原意不符。

對于現(xiàn)有全文檢索技術(shù)中的分詞器(Tokenizer)，大多數(shù)只能支持單一語言，而且對于那些孤立語和黏著語(如中文、韓語、藏語等)的文本分詞效果并不好。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中存在的技術(shù)問題，提供一種基于車載導(dǎo)航儀全文檢索的多語言分詞方法及裝置，在車載導(dǎo)航儀上使用全文檢索時，對用戶輸入的文本進行分詞，不依賴外部詞庫，通過一套算法將用戶輸入的包含混合字符串的文本切分成可以用于全文檢索的具體分詞。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：

本發(fā)明一方面提供一種基于車載導(dǎo)航儀全文檢索的多語言分詞方法，包括以下步驟：。

步驟1，對輸入文本進行初步處理，根據(jù)文本中的標點符號對輸入文本進行切分，若無標點符號則不切分，得到一個或多個子文本；

步驟2，判斷所述一個或多個子文本中是否存在僅包含英文字母或者僅包含英文字母和數(shù)字的子文本，如果是則將所述僅包含英文字母或者僅包含英文字母和數(shù)字的子文本作為第一子文本并對所述第一子文本做歧義判斷進行二次切分并輸出，否則將除所述第一子文本外的其他子文本作為第二子文本并執(zhí)行步驟3；

步驟3，根據(jù)語言編碼識別機制，將所述第二子文本切分，得到僅包含單一語種的多個字符串；

步驟4，利用正向最大匹配算法對所述多個字符串中的亞洲字符串進行切分，得到最終分詞結(jié)果并輸出。

進一步，所述步驟1包括：

根據(jù)UNICODE編碼規(guī)則，檢索輸入文本中的標點符號以及空格符號，并將所述標點符號和空格符號構(gòu)造成分隔符，將所述輸入文本分割成多個子文本，若輸入文本中不存在標點符號以及空格符號則將所述輸入文本作為一個獨立的子文本。

進一步，步驟2中所述的對所述第一子文本做歧義判斷進行二次切分，得到多個字符串，包括：

獲取車載導(dǎo)航儀收錄的檢索數(shù)據(jù)的言語種別，并分析所述言語種別中是否含有西方屈折語種別或漢語拼音；

若車載導(dǎo)航儀支持西方屈折語檢索，則對所述第一子文本不在進一步分詞；若車載導(dǎo)航儀支持漢語拼音檢索，則根據(jù)漢語拼音規(guī)則對所述第一子文本進行分詞；將基于西方屈折語檢索的分詞結(jié)果與基于漢語拼音規(guī)則的分析結(jié)果組合成分詞結(jié)果集并展示給用戶；

根據(jù)用戶的選擇信息確定分詞方案并輸出。

進一步，所述步驟3包括：

通過語言編碼識別機制識別第二子文本中所包含的語種信息，根據(jù)所述語種信息，將所述第二子文本切分成多個連續(xù)的僅包含單一語種的字符串。

進一步，所述步驟4包括：

設(shè)置最小切分閾值，若所述字符串中字符數(shù)量不大于所述最小切分閾值，則對該字符串不做切分，否則，從左到右將切分文本中的幾個連續(xù)字符按照正向最大匹配算法進行切分，針對切分過程中可能產(chǎn)生的多個切分方案，按照以下原則進行篩選確認并輸出：

1)切分后的字符串長度越長，優(yōu)先級越高；

2)切分后的字符串個數(shù)越少，優(yōu)先級越高。

本發(fā)明的有益效果是：在車載導(dǎo)航儀上使用全文檢索時，對用戶輸入的文本進行分詞，不依賴外部詞庫，通過一套算法將用戶輸入的包含混合字符串的文本切分成可以用于全文檢索的具體分詞，有效避免了由于各個國家與地區(qū)的語言語法、書寫習慣等因素的不一致，而導(dǎo)致它們需要用不同的分詞方法的問題。