[發明專利]新詞挖掘方法、裝置及電子設備

在審

• 申請號: 202010522871.5
• 申請日: 2020-06-10
• 公開（公告）號: CN111680492A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 張發恩;魏暢毅
• 申請（專利權）人: 創新奇智（青島）科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/253;G06F40/289;G06F16/33
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 蔣姍

本申請提供一種新詞挖掘方法、裝置及電子設備，該方法通過獲取目標語料，對目標語料進行分詞處理，得到待處理詞語，進而對各待處理詞語建立句法依存關系，依據句法依存關系從各待處理詞語中提取出滿足預設依存關系的待處理詞語，組成候選新詞，最好從候選新詞中去除掉干擾元素，得到目標新詞，而干擾元素為根據預設規則需要去除掉的候選新詞中的待處理詞語。這樣，基于分詞得到的各待處理詞語之間的句法依存關系來構建新詞，實現了對于新詞的挖掘，并使得得到的新詞能夠符合語法要求，從而能夠準確反映出目標語料的特點或主要內容。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種新詞挖掘方法、裝置及電子設備。

背景技術

新詞挖掘就是從已知的語料中去提取一些詞或字，組成新的詞匯，從而形成精準的總結文本信息，例如標簽化、方便統計、構造索引、特征化長文本等都是通過新詞挖掘產生的。

目前常用的新詞挖掘算法主要是基于統計相關的算法，主要依賴于新詞在語料中的出現頻率(如計算新詞的左右熵及相關的凝固度分離度等)來實現。

發明內容

本申請實施例的目的在于提供一種新詞挖掘方法、裝置及電子設備，用以實現對于新詞的挖掘。

本申請實施例提供了一種新詞挖掘方法，包括：獲取目標語料；對所述目標語料進行分詞處理，得到待處理詞語；對各所述待處理詞語建立句法依存關系；依據所述句法依存關系從各所述待處理詞語中提取出滿足預設依存關系的待處理詞語，組成候選新詞；從所述候選新詞中去除掉干擾元素，得到目標新詞；所述干擾元素為根據預設規則需要去除掉的所述候選新詞中的待處理詞語。

在上述實現過程中，在獲取到目標語料之后，通過對目標語料進行分詞處理，得到待處理詞語，然后對各待處理詞語建立句法依存關系，從而根據句法依存關系從各待處理詞語中提取出滿足預設依存關系的待處理詞語，組成候選新詞，進而從候選新詞中去除掉干擾元素得到目標新詞。這樣，本申請實施例基于分詞得到的各待處理詞語之間的句法依存關系來構建新詞，實現了對于新詞的挖掘，并使得得到的新詞能夠符合語法要求，從而能夠準確反映出目標語料的特點或主要內容。

進一步地，對所述目標語料進行分詞處理，得到待處理詞語，包括：使用分詞算法對所述目標語料進行分詞處理；去除經過所述分詞處理后得到的各詞語中的停用詞，得到所述待處理詞語。

在實際應用過程中，對語料進行分詞處理后，所得到的詞語通常會比較多。為了提高處理效率和處理準確性，可以在分詞后，將分詞處理后得到的各詞語中的停用詞去除掉，從而得到實際需要的待處理詞語。

進一步地，對各所述待處理詞語建立句法依存關系，包括：以各待處理詞語所屬的句子為單位，構建每一個句子中各待處理詞語的句法依存關系；對應的，依據所述句法依存關系從各所述待處理詞語中提取出滿足預設依存關系的待處理詞語，組成候選新詞，包括：依據每一個句子中各待處理詞語的句法依存關系，從各句子中提取出滿足預設依存關系的待處理詞語，組成每一個句子所對應的候選新詞。

在上述實現過程中，以句子為單位，對句子內的各待處理詞語進行句法依存關系的分析，從而得到每一個句子中的各待處理詞語之間的依存關系，從而便于以句子為單位，構建每一個句子對應的新詞，從而得到豐富的候選新詞，進而提高得到符合實際需要的新詞的概率。

進一步地，依據所述句法依存關系從各所述待處理詞語中提取出滿足預設依存關系的待處理詞語，組成候選新詞，包括：提取具有定中關系的各待處理詞語，將各待處理詞語按照各自對應的定中關系，與提取出的其余待處理詞語組成所述候選新詞；或，提取滿足定中關系和狀中關系的各待處理詞語，將各待處理詞語按照各自對應的定中關系或狀中關系，與提取出的其余待處理詞語組成所述候選新詞；或，提取滿足定中關系、狀中關系和核心關系的各待處理詞語，將各待處理詞語按照各自對應的定中關系或狀中關系或核心關系，與提取出的其余待處理詞語組成所述候選新詞。