[發明專利]文本數據標注方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110675593.1
• 申請日: 2021-06-18
• 公開（公告）號: CN113127607A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 劉子玉;潘東宇;蘇文博
• 申請（專利權）人: 貝殼找房（北京）科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/36;G06F40/242;G06F40/289
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊云云

本發明提供一種文本數據標注方法、裝置、電子設備及可讀存儲介質，其中方法包括：對待標注文本數據進行分詞及詞嵌入處理，獲取待標注數據詞嵌入向量，并對種子數據進行分詞及詞嵌入處理，獲取種子數據詞嵌入向量，所述種子數據為已經進行準確標注的數據；基于所述待標注數據詞嵌入向量和所述種子數據詞嵌入向量，計算所述待標注文本數據與所述種子數據之間的第一相似度；若所述第一相似度大于預設閾值，則根據所述種子數據的標簽，預標注所述待標注文本數據。本發明在具有少量有標簽的種子數據的情況下，通過采用弱監督結合詞嵌入運算的方式，進行待標注文本數據的預標注，能夠有效降低人工成本，并能有效提高標注效率和準確性，且可控性更強。

技術領域

本發明涉及數據挖掘技術領域，尤其涉及一種文本數據標注方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著互聯網技術的快速發展，人工智能作為互聯網技術的重要組成部分，使人類生活變得智能化和便捷化。人工智能的發展離不開大量線上數據的積累，而高質量且快速的數據標注又決定了更高程度的智能化水平。

目前，標注數據的產生主要依賴于人工標注或無監督的聚類算法。其中，人工標注主要包括對標注人員進行標注需求的簡單培訓、對待標注文本數據的理解以及進行人工標注的過程。無監督聚類過程主要包括：將待標注數據聚類成N類，N為人工設定的超參數；人工確認聚類結果中每個簇內的樣本；根據簇內多數樣本所屬的標簽，確定該簇內樣本的標簽。

但是，上述標注方法均需要人工參與，會消耗大量的人工成本且效率較低。

發明內容

本發明提供一種文本數據標注方法、裝置、電子設備及可讀存儲介質，用以解決現有技術消耗人工成本較高且效率不高等問題的缺陷，實現有效降低人工成本并提高效率的目標。

本發明提供一種文本數據標注方法，包括：

對待標注文本數據進行分詞及詞嵌入處理，獲取待標注數據詞嵌入向量，并對種子數據進行分詞及詞嵌入處理，獲取種子數據詞嵌入向量，所述種子數據為已經進行預設標注的數據；

基于所述待標注數據詞嵌入向量和所述種子數據詞嵌入向量，計算所述待標注文本數據與所述種子數據之間的第一相似度；

若所述第一相似度大于預設閾值，則根據所述種子數據的標簽，標注所述待標注文本數據。

根據本發明提供的一種文本數據標注方法，所述對待標注文本數據進行分詞及詞嵌入處理，包括：

基于目標垂類詞典，對所述待標注文本數據進行分詞并過濾，獲取有效分詞；

基于所述有效分詞，利用目標詞嵌入生成模型，生成所述待標注數據詞嵌入向量。

根據本發明提供的一種文本數據標注方法，在所述基于目標垂類詞典，對所述待標注文本數據進行分詞并過濾之前，還包括構建所述目標垂類詞典的步驟，包括：

獲取設定數量的垂類文本數據，并對所述垂類文本數據進行分詞處理，獲取文本分詞和所述文本分詞對應的詞頻；

基于所述詞頻和所述詞頻對應的文本分詞，以及預設停用詞和識別出的人名、數字及非中文詞中的至少一個，構建停用詞表；

基于所述停用詞表，過濾所述文本分詞，獲取所述目標垂類詞典。

根據本發明提供的一種文本數據標注方法，在所述根據所述種子數據的標簽，標注所述待標注文本數據之后，還包括：

根據所述標注的結果，將標注后的文本數據歸類到所述種子數據不同的標簽下；

標注出各所述標簽下的同類數據和異類數據，并基于標注的所述同類數據和所述異類數據，構建種子數據集。

根據本發明提供的一種文本數據標注方法，所述基于標注的所述同類數據和所述異類數據，構建種子數據集，包括：