[發明專利]一種文本數據檢索方法及裝置

有效

• 申請號: 202010370839.X
• 申請日: 2020-05-06
• 公開（公告）號: CN111259118B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 侯凱;李耀東;金波
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06F16/33
• 分類號: G06F16/33
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 黃忠

1.一種文本數據檢索方法，其特征在于，包括：

S1：將從預置文本數據中提取到的特征向量構建成向量集合，所述特征向量包括第一關鍵詞和第一特征權重；

S2：根據預置熱點向量與所述特征向量之間的第一相似度對所述向量集合進行分類，得到特征向量類別庫，所述預置熱點向量為具有時效性的標準向量；

S3：根據預置檢索熱點構建檢索向量，所述檢索向量包括第二關鍵詞和第二特征權重；

S4：在所述特征向量類別庫中隨機選取一個類別，計算所述類別中每個所述特征向量與所述檢索向量之間的第二相似度，得到最大相似度；

S5：在所述最大相似度大于或等于閾值時，如果所述最大相似度對應的所述特征向量的所述第一特征權重大于所述第二特征權重，則將所述第一特征權重代替所述第二特征權重，重復步驟S4，直至得到唯一的檢索特征向量。

2.根據權利要求1所述的文本數據檢索方法，其特征在于，步驟S1，之前還包括：

采集雜亂的原始文本數據；

對所述原始文本數據進行數據清洗操作，得到所述預置文本數據。

3.根據權利要求1所述的文本數據檢索方法，其特征在于，步驟S2，包括：

構建多個所述預置熱點向量，所述預置熱點向量包括第三關鍵詞和第三特征權重，所述預置熱點向量為具有時效性的標準向量；

根據預置相似度公式計算所述預置熱點向量與每個所述特征向量之間的所述第一相似度；

將每個所述第一相似度超過相似閾值的所述特征向量劃分到所述預置熱點向量對應的熱點類別中；

將分類完成的所述特征向量構建成所述特征向量類別庫。

4.根據權利要求1所述的文本數據檢索方法，其特征在于，步驟S1，之后還包括：

通過預置公式計算所述第一關鍵詞的詞頻率，所述預置公式為：

其中，L_i為所述詞頻率，TF為詞頻，Ctotal為詞總數；

根據所述詞頻率和預置詞性權重計算更新權重；

采用所述更新權重調整所述第一特征權重，得到優化后的所述特征向量。

5.根據權利要求1所述的文本數據檢索方法，其特征在于，步驟S5，還包括：

在所述最大相似度小于閾值時，則判定為非目標信息，跳過本次檢索。

6.一種文本數據檢索裝置，其特征在于，包括：

第一構建模塊，用于將從預置文本數據中提取到的特征向量構建成向量集合，所述特征向量包括第一關鍵詞和第一特征權重；

分類模塊，用于根據預置熱點向量與所述特征向量之間的第一相似度對所述向量集合進行分類，得到特征向量類別庫，所述預置熱點向量為具有時效性的標準向量；

第二構建模塊，用于根據預置檢索熱點構建檢索向量，所述檢索向量包括第二關鍵詞和第二特征權重；

計算模塊，用于在所述特征向量類別庫中隨機選取一個類別，計算所述類別中每個所述特征向量與所述檢索向量之間的第二相似度，得到最大相似度；

迭代模塊，用于在所述最大相似度大于或等于閾值時，如果所述最大相似度對應的所述特征向量的所述第一特征權重大于所述第二特征權重，則將所述第一特征權重代替所述第二特征權重，觸發所述計算模塊，直至得到唯一的檢索特征向量。

7.根據權利要求6中所述的文本數據檢索裝置，其特征在于，還包括：

預處理模塊，用于采集雜亂的原始文本數據；

對所述原始文本數據進行數據清洗操作，得到所述預置文本數據。