[發明專利]熱詞挖掘方法、系統、計算機設備和存儲介質

有效

• 申請號: 202110041543.8
• 申請日: 2021-01-13
• 公開（公告）號: CN112949287B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 許丹;楊德杰;葉聆音
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/289;G06F18/214;G06F16/35;G06F16/33
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 張曾明

1.一種基于TF-IDF技術的熱詞挖掘方法，用于企業培訓平臺的搜索數據處理，其特征在于，所述熱詞挖掘方法包括：

獲取員工群體標簽，并根據標簽對員工群體進行分類；

獲取已分類員工群體的搜索數據，并對搜索數據進行預處理；

所述對搜索數據進行預處理包括：

以詞為語義最小單元對中文進行結巴切詞，詞間以空格分離；

將切詞后的搜索數據進行去重；

所述對搜索數據進行預處理還包括：

利用字符串清除函數結合正則表達式刪除所述搜索數據中的標點符號和阿拉伯數字；

對所述搜索數據去停詞、去單字和/或替換歧義詞的處理；

將預處理之后的搜索數據按照員工群體類別進行串聯并形成搜索詞群；

對搜索詞群進行m*n矩陣排列處理和詞性處理，以獲得詞頻矩陣和詞性字典，其中，m的矩陣內容為員工群體類別，n的矩陣內容為搜索詞群；

對詞頻矩陣進行逆文檔頻率計算，以獲得第一tf-idf矩陣；

根據詞性字典獲得詞性權重，根據詞性權重對第一tf-idf矩陣進行處理，以獲得第二tf-idf矩陣；

對第二tf-idf矩陣中各員工群體的tf-idf權重進行排序，選取排名靠前預設個數的搜索詞作為各員工群體的熱詞。

2.如權利要求1所述的熱詞挖掘方法，其特征在于，所述對搜索詞群進行m*n矩陣排列處理和詞性處理，以獲得詞頻矩陣和詞性字典，包括：

對搜索詞群進行m*n矩陣排列，以獲得字典矩陣；

對字典矩陣進行詞頻和歸一化處理，以獲得詞頻矩陣。

3.如權利要求2所述的熱詞挖掘方法，其特征在于，所述詞性處理還包括：利用預訓練的LC-CRF模型提取所述搜索詞群的前后信息以及局部特征信息，并對詞性進行標注。

4.如權利要求1所述的熱詞挖掘方法，其特征在于，所述對詞頻矩陣進行逆文檔頻率計算采用逆文檔頻率計算公式：其中，t代表詞項，d∈D代表一類人的所有搜索詞序列，D表示所有搜索詞序列d組成的文集，N是搜索詞總數量，n_t指搜索詞在多少搜索詞群中出現過。

5.一種基于TF-IDF技術的熱詞挖掘系統，用于企業培訓平臺的搜索數據處理，其特征在于，所述熱詞挖掘系統包括：

分類模塊，用于獲取員工群體標簽，并根據標簽對員工群體進行分類；

數據處理模塊，用于獲取已分類員工群體的搜索數據，并對搜索數據進行預處理，所述對搜索數據進行預處理包括：以詞為語義最小單元對中文進行結巴切詞，詞間以空格分離；將切詞后的搜索數據進行去重；所述對搜索數據進行預處理還包括：利用字符串清除函數結合正則表達式刪除所述搜索數據中的標點符號和阿拉伯數字；對所述搜索數據去停詞、去單字和/或替換歧義詞的處理；

串聯模塊，用于將預處理之后的搜索數據按照員工群體類別進行串聯并形成搜索詞群；

詞頻詞性模塊，用于對搜索詞群進行m*n矩陣排列處理和詞性處理，以獲得詞頻矩陣和詞性字典，其中，m的矩陣內容為員工群體類別，n的矩陣內容為搜索詞群；

逆文檔頻率模塊，用于對詞頻矩陣進行逆文檔頻率計算，以獲得第一tf-idf矩陣；

權重模塊，用于根據詞性字典獲得詞性權重，根據詞性權重對第一tf-idf矩陣進行處理，以獲得第二tf-idf矩陣；

排序模塊，用于對第二tf-idf矩陣中各員工群體的tf-idf權重進行排序，選取排名靠前預設個數的搜索詞作為各員工群體的熱詞。

6.一種計算機設備，包括儲存器和處理器，所述儲存器中存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執行時，使得所述處理器執行如權利要求1至4中任一項權利要求所述熱詞挖掘方法的步驟。

7.一種存儲介質，其特征在于，存儲有能夠實現如權利要求1-4中任一項所述熱詞挖掘方法的程序文件。