[發明專利]樣本數據的處理方法和裝置

有效

• 申請號: 201911293517.3
• 申請日: 2019-12-16
• 公開（公告）號: CN111191689B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 張東;劉成鵬;盧億雷
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/20;G06F18/241;G06F18/22
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 張建秀;栗若木

1.一種樣本數據的處理方法，其特征在于，包括：

獲取樣本數據中預測詞的特征信息；

根據所述預測詞的特征信息，確定預先獲取的訓練數據中每個訓練詞與所述預測詞的相似度信息；

根據每個訓練詞的相似度信息，確定K個詞作為所述預測詞的候選詞，其中K為大于等于2的整數；

獲取對所述K個候選詞的標注結果，其中所述標注結果包括所述候選詞對應的類別信息；

根據所述K個候選詞的標注結果，確定所述預測詞的類別信息；

其中，所述根據所述預測詞的特征信息，確定預先獲取的訓練數據中每個詞與所述預測詞的相似度信息，包括：

計算所述預測詞的每個特征信息和同一個訓練詞的每個特征信息的相似度信息，包括：

判斷同一特征信息中的兩組特征信息中內容的長度的差值是否大于預先設置的長度閾值，得到判斷結果；

如果判斷結果為大于所述長度閾值，則利用預先獲取的余弦相似度的計算策略，對同一特征信息上預測詞對應的內容和訓練詞對應的內容進行計算，確定所述預測詞和所述訓練詞在同一特征信息的相似度信息；

如果判斷結果為小于或等于所述長度閾值，則利用預先獲取的Jaccard相似度的計算策略，對同一特征信息上預測詞對應的內容和訓練詞對應的內容進行計算，確定所述預測詞和所述訓練詞在同一特征信息的相似度信息。

2.根據權利要求1所述的方法，其特征在于，所述對同一個訓練詞的每個特征信息的相似度進行計算，確定每個訓練詞與預測詞的相似度信息，包括：

在利用余弦相似度的計算策略確定同一特征信息的相似度時，獲取同一個訓練詞的每個特征信息的相似度信息，其中所述相似度信息包括每個特征信息的相似度的均值、方差和標準差中的至少一個；對同一個訓練詞的每個特征信息的相似度信息進行高斯歸一化處理，得到所述訓練詞與所述預測詞的相似度信息；

在利用Jaccard相似度的計算策略確定同一特征信息的相似度時，獲取同一個訓練詞的每個特征信息的相似度信息，對同一個訓練詞的每個特征信息的相似度信息進行最大值最小值歸一化處理，得到所述訓練詞與所述預測詞的相似度信息。

3.根據權利要求1所述的方法，其特征在于，所述根據所述K個候選詞的類別信息，確定所述預測詞的類別信息，包括：

按照類別信息對應所述K個候選詞進行分類，確定所述K個候選詞中同一類別信息的候選詞的總數；

根據所述同一類別信息的候選詞的總數，從所述K個候選詞的類別信息中，選擇滿足預先設置的高使用率的判斷策略的類別信息，作為所述預測詞的類別信息。