[發明專利]一種文本數據檢索方法及裝置

有效

• 申請號: 202010370839.X
• 申請日: 2020-05-06
• 公開（公告）號: CN111259118B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 侯凱;李耀東;金波
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06F16/33
• 分類號: G06F16/33
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 黃忠

本申請公開了一種文本數據檢索方法及裝置，方法包括：首先，將從預置文本數據中提取到的特征向量構建成向量集合，特征向量包括第一關鍵詞和第一特征權重；然后，根據預置熱點向量與特征向量之間的第一相似度對向量集合進行分類，得特征向量類別庫；其次，根據預置檢索熱點構建檢索向量，檢索向量包括第二關鍵詞和第二特征權重；接著，在特征向量類別庫中隨機選取一個類別，計算類別中每個特征向量與檢索向量之間的第二相似度，得最大相似度；最后，根據預置條件采用第一特征權重代替第二特征權重，并迭代檢索，得檢索特征向量。解決了檢索效果較差，無法高效滿足實際應用需求的技術問題。

技術領域

本申請涉及文本檢索技術領域，尤其涉及一種文本數據檢索方法及裝置。

背景技術

近年來，互聯網的迅猛發展，迎來了信息爆炸式增長的時代。隨著日常生活逐步向互聯網的全面轉移，大數據時代已經成為必然。大數據作為全球互聯網的前沿概念，主要包括兩個特點：一是信息量急劇增加；二是個人可獲得的信息量呈指數級增長。

人工智能是專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。隨著人工智能的發展，人工智能的也被應用到各個不同的領域中，處理各種以往計算機無法實現的問題。

文本數據，包括結構化和非結構化的，在企業IT系統中，譬如日志信息、業務財務銷售管理等軟件文本記錄、客服投訴建議及郵件評論等都蘊含著大量的文本數據。由于文本數據天然的數據零散以及跨系統跨領域的特性，再加上數據量的急劇增加，導致現有的文本的特征提取和檢索技術無法適應實際的應用需求。

發明內容

本申請提供了一種文本數據檢索方法及裝置，用于解決文本數據的雜亂無章和跨系統跨領域，以及數據量急劇增加導致檢索效果較差，無法高效滿足實際應用需求的技術問題。

有鑒于此，本申請第一方面提供了一種文本數據檢索方法，包括：

S1：將從預置文本數據中提取到的特征向量構建成向量集合，所述特征向量包括第一關鍵詞和第一特征權重；

S2：根據預置熱點向量與所述特征向量之間的第一相似度對所述向量集合進行分類，得到特征向量類別庫，所述預置熱點向量為具有時效性的標準向量；

S3：根據預置檢索熱點構建檢索向量，所述檢索向量包括第二關鍵詞和第二特征權重；

S4：在所述特征向量類別庫中隨機選取一個類別，計算所述類別中每個所述特征向量與所述檢索向量之間的第二相似度，得到最大相似度；

S5：在所述最大相似度大于或等于閾值時，如果所述最大相似度對應的所述特征向量的所述第一特征權重大于所述第二特征權重，則將所述第一特征權重代替所述第二特征權重，重復步驟S4，直至得到唯一的檢索特征向量。

優選地，步驟S1，之前還包括：

采集雜亂的原始文本數據；

對所述原始文本數據進行數據清洗操作，得到所述預置文本數據。

優選地，步驟S2，包括：

構建多個所述預置熱點向量，所述預置熱點向量包括第三關鍵詞和第三特征權重，所述預置熱點向量為具有時效性的標準向量；

根據預置相似度公式計算所述預置熱點向量與每個所述特征向量之間的所述第一相似度；

將每個所述第一相似度超過相似閾值的所述特征向量劃分到所述預置熱點向量對應的熱點類別中；

將分類完成的所述特征向量構建成所述特征向量類別庫。

優選地，步驟S1，之后還包括：

通過預置公式計算所述第一關鍵詞的詞頻率，所述預置公式為：