[發明專利]一種從文本語料中提取持續性熱點短語的方法、裝置及存儲介質

有效

• 申請號: 202110079692.3
• 申請日: 2021-01-21
• 公開（公告）號: CN112966505B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 葉東;孫兆偉;李暉;趙翰墨;高祥博;王璐
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/216;G06F40/242;G06F16/33
• 代理公司: 西安維英格知識產權代理事務所(普通合伙) 61253
• 代理人: 李斌棟;歸瑩

1.一種從文本語料中提取持續性熱點短語的方法，其特征在于，所述方法包括：

將原始文本語料劃分為多個與時間區間相對應的文本集合；

基于每個文本集合所包含的文本后綴及各文本后綴出現的頻率構造每個文本集合對應的頻率后綴樹；

基于查詢指令所指示的熱點持續時間區間以及最小出現頻率閾值遍歷所述熱點持續時間區間所對應的頻率后綴樹，查詢獲得在所述熱點持續時間區間內出現頻率不低于所述最小出現頻率閾值的熱點短語；

其中，所述基于每個文本集合所包含的文本后綴及各文本后綴出現的頻率構造每個文本集合對應的頻率后綴樹，包括：

針對每個文本集合，將每個純文本數據串的結尾添加終止標記；其中，針對每個文本集合，去除所述文本集合內文本數據中的設定符號與停用詞，并在所述停用詞與標點位置進行切分，獲得多條純文本數據串；

創建每個文本集合的初始頻率樹；其中，所述初始頻率樹只包括根節點，所述根節點的頻率和子節點的指針均為空；

針對每個文本集合，采用烏科寧Ukkonen算法將每個純文本數據串的文本后綴插入至所述初始頻率樹，獲得每個文本集合對應的后綴樹；

對所述后綴樹進行深度遞歸遍歷，當遍歷到葉子節點時，將所述葉子節點的頻率值置1，并且將所述后綴樹中除葉子節點以外的每個其他節點的頻率值確定為所述每個其他節點的直接孩子節點的頻率值之和，以獲得每個文本集合對應的頻率后綴樹。

2.根據權利要求1所述的方法，其特征在于，所述將原始文本語料劃分為多個與時間區間相對應的文本集合，包括：

將形成所述原始文本語料的時間段按照時間順序以及設定的最小單位時間區間劃分獲得多個順序的時間區間；

根據所述原始文本語料中的文本出現時間以及所述時間區間，將所述原始文本語料中的文本存儲于各時間區間對應的文本集合。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

針對每個文本集合對應的頻率后綴樹，從根節點進行廣度遍歷，并將每個節點對應的節點標識、孩子節點數量、頻率值以及與父節點連接邊記錄的文本數據串進行輸出，以形成每個頻率后綴樹的序列化文件。

4.根據權利要求3所述的方法，其特征在于，所述基于查詢指令所指示的熱點持續時間區間以及最小出現頻率閾值遍歷所述熱點持續時間區間所對應的頻率后綴樹，查詢獲得在所述熱點持續時間區間內出現頻率不低于所述最小出現頻率閾值的熱點短語，包括：

針對所述熱點持續時間區間中的首個時間區間，將所述首個時間區間對應的頻率后綴樹的序列化文件還原為所述首個時間區間對應的頻率后綴樹；

從根節點出發中序遍歷所述首個時間區間對應的頻率后綴樹，判定當前遍歷節點的頻率值是否不小于所述最小出現頻率閾值：若是，則繼續遍歷所述當前遍歷節點的下一級節點，直至被遍歷節點的頻率值小于所述最小出現頻率閾值；

若當前遍歷節點的頻率值不小于所述最小出現頻率閾值且所述當前遍歷節點的所有孩子節點的頻率值均小于所述最小出現頻率閾值，將由所述根節點至所述當前遍歷節點的路徑邊所記錄的單詞序列確定為所述首個時間區間內的候選熱點短語；

針對所述熱點持續時間區間中除所述首個時間區間之外的每個其他時間區間，將所述每個其他時間區間對應的頻率后綴樹的序列化文件還原為所述每個其他時間區間對應的頻率后綴樹；

針對所述熱點持續時間區間中除所述首個時間區間之外的每個其他時間區間對應的頻率后綴樹，利用所述每個其他時間區間的前一個時間區間對應的候選熱點短語集合中的每一個候選熱點短語進行查詢。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

接收查詢指令；其中，所述查詢指令至少包括希望查詢的熱點持續時間區間以及設定的最小出現頻率閾值。