[發明專利]一種生成分詞結果的方法及裝置

有效

• 申請號: 201610671511.5
• 申請日: 2016-08-15
• 公開（公告）號: CN107766317A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 韋安軍
• 申請（專利權）人: 南京中興新軟件有限責任公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 于小鳳

技術領域

本發明涉及分詞算法，特別是涉及一種生成分詞結果的方法及裝置。

背景技術

目前，傳統的分詞器主要以分詞結果的準確率為基準，只產生一種最準確的結果，但在中文的環境下，同樣一句話可能會有多重意義，因此無論多么準確的分詞算法，也會存在分不出用戶期望的分詞結果的情況。故提供多種可能的分詞結果，更加順應實際需要，使后續機器學習句法分析等操作成為可能。

目前國外研究的分詞算法中沒有專門對應中文的算法，大多都是適用于多種語言的算法。這種分詞算法盡管已經有可觀的準確率，但因為中文本身是一種變化很多的語言，表達的復雜度較高，這些分詞算法很難達到高準確率要求。

發明內容

本發明提供一種生成分詞結果的方法及裝置，用以解決現有技術中分詞算法僅給出一種結果，無法滿足實際需求的問題。

根據本發明的一個方面，提供了一種生成分詞結果的方法，包括：將句子進行分詞，得到多個詞語；使用多個詞語進行組合，得到組合成句子的至少一個詞語組合，將至少一個詞語組合中的詞語的集合確定為句子的分詞結果。

其中，使用多個詞語進行組合，得到組合成句子的至少一個詞語組合，將至少一個詞語組合中的詞語的集合確定為句子的分詞結果，包括：將多個詞語按照各詞語在句子中的位置進行排序，記錄每個詞語在句子中的開始以及結束分割位置；從位于句子末尾的詞語開始，依次從排序后的多個詞語中查找與當前詞語相鄰且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到第一詞語組合；使用第一詞語組合中位于句子首位的第一首位詞語，從第一首位詞語開始，依次從排序后的多個詞語中查找與當前詞語相鄰，且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到第二詞語組合；將第一詞語組合以及第二詞語組合的交集確定為句子的分詞結果。

其中，使用多個詞語進行組合，得到組合成句子的至少一個詞語組合，將至少一個詞語組合中的詞語的集合確定為句子的分詞結果，包括：將多個詞語按照各詞語在句子中的位置進行排序，記錄每個詞語在句子中的開始以及結束分割位置；從位于句子末尾的詞語開始，依次從排序后的多個詞語中查找與當前詞語相鄰且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到第三詞語組合；當第三詞語組合中存在兩個開始以及結束位置均相同的詞語，則刪除第三詞語組合中最后記錄的一個詞語；使用第三詞語組合中位于句子首位的第二首位詞語，從第二首位詞語開始，依次從排序后的多個詞語中查找與當前詞語相鄰，且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到第四詞語組合；將第三詞語組合以及第四詞語組合的交集確定為句子的分詞結果。

其中，使用多個詞語進行組合，得到組合成句子的至少一個詞語組合，將至少一個詞語組合中的詞語的集合確定為句子的分詞結果，包括：按照多個詞語在句子中的位置的順序，將多個詞語存儲于樹形結構中；記錄每個詞語在句子中的開始以及結束分割位置；從樹形結構的各葉子節點向根節點查找與當前葉子節點存儲的詞語相鄰且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到多個詞語組合；將得到的多個詞語組合的交集確定為句子的分詞結果。

其中，將句子進行分詞，得到多個詞語，包括：將句子基于預設詞典進行分詞，得到多個詞語。

根據本發明的第二個方面，提供了一種生成分詞結果的裝置包括：分詞模塊，用于將句子進行分詞，得到多個詞語；組合模塊，用于使用多個詞語進行組合，得到組合成句子的至少一個詞語組合，將至少一個詞語組合中的詞語的集合確定為句子的分詞結果。

其中，上述組合模塊包括：第一排序單元，用于將多個詞語按照各詞語在句子中的位置進行排序，記錄每個詞語在句子中的開始以及結束分割位置；第一查找單元，用于從位于句子末尾的詞語開始，依次從排序后的多個詞語中查找與當前詞語相鄰且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到第一詞語組合；第二查找單元，用于使用第一詞語組合中位于句子首位的第一首位詞語，從第一首位詞語開始，依次從排序后的多個詞語中查找與當前詞語相鄰，且開始以及結束分割位置均不同的詞語，依次記錄查找到的詞語，得到第二詞語組合；第一確定單元，用于將第一詞語組合以及第二詞語組合的交集確定為句子的分詞結果。