[發明專利]文本數據標注方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110675593.1
• 申請日: 2021-06-18
• 公開（公告）號: CN113127607A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 劉子玉;潘東宇;蘇文博
• 申請（專利權）人: 貝殼找房（北京）科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/36;G06F40/242;G06F40/289
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊云云

1.一種文本數據標注方法，其特征在于，包括：

對待標注文本數據進行分詞及詞嵌入處理，獲取待標注數據詞嵌入向量，并對種子數據進行分詞及詞嵌入處理，獲取種子數據詞嵌入向量，所述種子數據為已經進行預設標注的數據；

基于所述待標注數據詞嵌入向量和所述種子數據詞嵌入向量，計算所述待標注文本數據與所述種子數據之間的第一相似度；

若所述第一相似度大于預設閾值，則根據所述種子數據的標簽，標注所述待標注文本數據。

2.根據權利要求1所述的文本數據標注方法，其特征在于，所述對待標注文本數據進行分詞及詞嵌入處理，包括：

基于目標垂類詞典，對所述待標注文本數據進行分詞并過濾，獲取有效分詞；

基于所述有效分詞，利用目標詞嵌入生成模型，生成所述待標注數據詞嵌入向量。

3.根據權利要求2所述的文本數據標注方法，其特征在于，在所述基于目標垂類詞典，對所述待標注文本數據進行分詞并過濾之前，還包括構建所述目標垂類詞典的步驟，包括：

獲取設定數量的垂類文本數據，并對所述垂類文本數據進行分詞處理，獲取文本分詞和所述文本分詞對應的詞頻；

基于所述詞頻和所述詞頻對應的文本分詞，以及預設停用詞和對所述垂類文本數據識別出的人名、數字及非中文詞中的至少一個，構建停用詞表；

基于所述停用詞表，過濾所述文本分詞，獲取所述目標垂類詞典。

4.根據權利要求1-3中任一項所述的文本數據標注方法，其特征在于，在所述根據所述種子數據的標簽，標注所述待標注文本數據之后，還包括：

根據所述標注的結果，將標注后的文本數據歸類到所述種子數據不同的標簽下；

標注出各所述標簽下的同類數據和異類數據，并基于標注的所述同類數據和所述異類數據，構建種子數據集。

5.根據權利要求4所述的文本數據標注方法，其特征在于，所述基于標注的所述同類數據和所述異類數據，構建種子數據集，包括：

針對每個所述種子數據，對標注到所述種子數據的標簽下的多個同類數據，計算所述多個同類數據相互之間的第二相似度，并基于所述第二相似度，剔除冗余的同類數據，且保留所述異類數據構建所述種子數據集。

6.根據權利要求3所述的文本數據標注方法，其特征在于，所述對所述垂類文本數據進行分詞處理，包括：

采用計算引擎spark，對所述垂類文本數據進行并行分詞處理并進行停用詞過濾，獲取所述文本分詞和所述詞頻。

7.根據權利要求1所述的文本數據標注方法，其特征在于，所述計算所述待標注文本數據與所述種子數據之間的第一相似度，包括：

基于所述待標注數據詞嵌入向量，通過加權平均運算，獲取所述待標注文本數據的第一句向量；

基于所述種子數據詞嵌入向量，通過加權平均運算，獲取所述種子數據的第二句向量；

通過計算所述第一句向量與所述第二句向量之間的相似度，確定所述待標注文本數據與所述種子數據之間的第一相似度。

8.一種文本數據標注裝置，其特征在于，包括：

詞嵌入模塊，用于對待標注文本數據進行分詞及詞嵌入處理，獲取待標注數據詞嵌入向量，并對種子數據進行分詞及詞嵌入處理，獲取種子數據詞嵌入向量，所述種子數據為已經進行預設標注的數據；

計算模塊，用于基于所述待標注數據詞嵌入向量和所述種子數據詞嵌入向量，計算所述待標注文本數據與所述種子數據之間的第一相似度；

預標注模塊，用于若所述第一相似度大于預設閾值，則根據所述種子數據的標簽，標注所述待標注文本數據。

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，其特征在于，所述處理器執行所述程序或指令時，實現如權利要求1至7中任一項所述的文本數據標注方法的步驟。

10.一種非暫態計算機可讀存儲介質，其上存儲有程序或指令，其特征在于，所述程序或指令被計算機執行時，實現如權利要求1至7中任一項所述的文本數據標注方法的步驟。