[發明專利]一種基于詞義相似度的智能數據治理方法和系統

在審

• 申請號: 202210457826.5
• 申請日: 2022-04-28
• 公開（公告）號: CN114936551A
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 謝少飛;閆晶;喻波;王志海;安鵬
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06F40/194
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于詞義相似度的智能數據治理方法，其特征在于，所述方法包括：

步驟S1、中文分詞：將一個詞語或語句進行分詞處理；

步驟S2、詞性標注：在所述中文分詞的基礎上，對分詞之后的詞語或語句進行詞性的標注；

步驟S3、關鍵字提取：基于所述詞性的標注之后的結果，根據所需要的詞性劃分，進行關鍵字提取；

步驟S4、相識度判斷：對關鍵字提取之后的詞語或語句與分類分級模版中的相關詞語進行比較，給出相似度。

2.根據權利要求1所述的一種基于詞義相似度的智能數據治理方法，其特征在于，在所述步驟S1中，中文分詞的模型有六種，分別為：CRF分詞、N-最短路徑分詞、NLP分詞、極速字典分詞、標準分詞和深度學習分詞。

3.根據權利要求2所述的一種基于詞義相似度的智能數據治理方法，其特征在于，在所述步驟S1中，根據六種所述模型的精準率、召回率、F1值、新詞召回率和正確召回率，選擇所述六種模型中的一種對詞語或語句進行分詞處理。

4.根據權利要求1所述的一種基于詞義相似度的智能數據治理方法，其特征在于，在所述步驟S2中，所述詞性標注有四種：HMM詞性標注、CRF詞性標注、感知機詞性標注和深度學習詞性標注。

5.根據權利要求1所述的一種基于詞義相似度的智能數據治理方法，其特征在于，在所述步驟S3中，所述根據所需要的詞性劃分，進行關鍵字提取的具體方法包括：

提取名詞以及含有特殊含義的詞性，將助詞、副詞和動詞去除。

6.根據權利要求1所述的一種基于詞義相似度的智能數據治理方法，其特征在于，在所述步驟S4中，所述對關鍵字提取之后的詞語或語句與分類分級模版中的相關詞語進行比較，給出相似度的具體方法包括：

對關鍵字提取之后的詞語或語句與所述分類分級模版中的相關詞語進行比較，給通過詞向量方式給出相似度的分數。

7.根據權利要求6所述的一種基于詞義相似度的智能數據治理方法，其特征在于，在所述步驟S4中，所述相似度的分數在(0-1]的閉包之中，越接近1則相似度越高，越接近0則相似度越低。

8.一種用于基于詞義相似度的智能數據治理系統，其特征在于，所述系統包括：

第一處理模塊，被配置為，中文分詞：將一個詞語或語句進行分詞處理；

第二處理模塊，被配置為，詞性標注：在中文分詞的基礎上，對分詞之后的詞語或語句進行詞性的標注；

第三處理模塊，被配置為，關鍵字提取：基于詞性標注之后的結果，根據所需要的詞性劃分，進行關鍵字提取；

第四處理模塊，被配置為，相識度判斷：對關鍵字提取之后的詞語或語句與分類分級模版中的相關詞語進行比較，給出相似度。

9.一種電子設備，其特征在于，所述電子設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時，實現權利要求1至7中任一項所述的一種基于詞義相似度的智能數據治理方法中的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現權利要求1至7中任一項所述的一種基于詞義相似度的智能數據治理方法中的步驟。