[發明專利]一種領域新詞的提取方法及系統

在審

• 申請號: 202111567889.8
• 申請日: 2021-12-21
• 公開（公告）號: CN114266256A
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 許冠中;黃安子
• 申請（專利權）人: 深圳供電局有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/215;G06F16/335;G06F40/169;G06F40/216;G06F40/242
• 代理公司: 深圳匯智容達專利商標事務所(普通合伙) 44238
• 代理人: 徐文城

本發明提供一種領域新詞的提取方法及系統，包括，采集行業內容數據，并抽取所述行業內容數據中的文本數據，得到專業領域文本數據集；根據預設的領域句法詞典對所述專業領域文本數據集進行轉化，得到對應的詞向量數據集；調取所述詞向量數據集中不屬于所述預設的領域句法詞典的候選詞語，若所述候選詞語的余弦相似度與所述預設的領域句法詞典的余弦相似度大于預設的閾值，則判定所述候選詞語為候選新詞；通過預設的過濾規則對所述候選新詞進行過濾，得到領域新詞。本發明通過新詞發現并融合多種新詞提取的方法可實現特定領域詞匯的提取，實現領域新詞提取，提高分詞準確率，從而提升自然語言處理下游任務的性能。

技術領域

本發明涉及領域新詞的提取技術領域，特別是涉及一種領域新詞的提取方法及系統。

背景技術

隨著技術數據化的發展，從垂直行業UGC(User Generated Content，用戶生成內容，即用戶原創內容)內容數據、專業文獻、行業新聞、企業內參等專業領域中，領域新詞和特定業務場景下的口語化表達方式更新的越來越快，然而，快速從海量異構的行業語料中發掘領域新詞，擴充領域詞庫，對于提升詞法分析任務的精度，進而提升無結構數據分析的下游任務性能具有關鍵的作用。所以如何為相關從業人員提供該領域的最新信息，更好地挖掘分析該領域的最新事件動態、發展趨勢、社區輿情，為辦公室寫作抓取精準的素材內容成為目前一大難點。

發明內容

本發明的目的在于，提出一種領域新詞的提取方法及系統，實現提升針對行業UGC、專業文獻、內容數據的分詞準確率，從而提升語義檢索、智能推薦等下游任務的精度。

一方面，提供一種領域新詞的提取方法，包括：

采集行業內容數據，并抽取所述行業內容數據中的文本數據，得到專業領域文本數據集；

根據預設的領域句法詞典對所述專業領域文本數據集進行轉化，得到對應的詞向量數據集；

調取所述詞向量數據集中不屬于所述預設的領域句法詞典的候選詞語，將所述候選詞語的余弦相似度與所述預設的領域句法詞典比較，若所述候選詞語的余弦相似度與所述預設的領域句法詞典的余弦相似度大于預設的閾值，則判定所述候選詞語為候選新詞；

通過預設的過濾規則對所述候選新詞進行過濾，得到領域新詞。

優選地，獲取所述預設的領域句法詞典通過以下過程包括：

根據預設的通用領域詞典對專業領域文本數據集進行清洗并標注，得到初步序列標注結果；

根據預設的電力專業領域標準詞匯對所述初步序列標注結果進行補充標注，得到專業領域詞典。

優選地，獲取所述預設的領域句法詞典通過以下過程還包括：

根據預設的自然語言處理算法逐句對所述專業領域詞典進行重新分詞和詞性標注，統計每個領域詞匯的tf-idf值；并根據預設的自然語言處理算法對專業領域文本數據集逐句進行分析，得到具有依存關系的詞匯序列及每個詞匯序列對應的詞性標注序列；

按所述詞性標注序列分組統計依存關系詞匯序列的數量，當符合特定詞性標注序列的依存關系詞匯序列數量超過預設閾值時，將所述詞性標注序列加入到句法模板列表中，得到領域句法模板；

不重復的抽取所述詞匯序列，當所述詞匯序列中存在tf-idf值大于判定閾值的詞匯且所述詞匯序列存在所述專業領域詞典中的詞匯時，將所述詞匯序列加入是領域句法模板，得到預設的領域句法詞典。

優選地，所述得到對應的詞向量數據集具體包括：

從預設的領域句法詞典中抽取的領域句法模板；

根據所述領域句法模板從專業領域文本數據集中抽取符合所述領域句法模板的詞匯或詞組，并通過所述領域句法模板中的語言模塊對抽取的詞匯或詞組進行訓練，得到對應的詞向量；