[發明專利]一種文本主題標引的方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202110648194.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113590773A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 安源;齊向春;王東晉;翟夏普;尉永哲;周俊
• 申請（專利權）人: 中國鐵道科學研究院集團有限公司科學技術信息研究所
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35;G06F40/289
• 代理公司: 北京集智東方知識產權代理有限公司 11578
• 代理人: 陳亞斌;關兆輝

1.一種文本主題標引的方法，其特征在于，包括：

獲取待標引文本，利用齊普夫定律過濾所述待標引文本中詞頻過高和過低的詞匯，獲得候選詞集合；

對所述待標引文本進行預處理，得到文本詞序列，對所述文本詞序列進行聚類分析，得到每個簇的權重P；

基于所述候選詞集合，生成所述候選詞集合的詞共現矩陣，基于所述詞共現矩陣構建雙向詞圖，在所述雙向詞圖中迭代計算每個節點的Rank值；

基于所述每個簇的權重P與所述每個節點的Rank值標引文本主題。

2.根據權利要求1所述的文本主題標引的方法，其特征在于，所述對所述待標引文本進行預處理，得到文本詞序列，包括：

過濾所述待標引文本的圖片、表格和公式數據，得到處理后的所述待標引文本；

利用專業領域詞表和停用詞詞對所述處理后的所述待標引文本進行分句和分詞處理，得到所述文本詞序列。

3.根據權利要求1所述的文本主題標引的方法，其特征在于，所述獲取待標引文本，利用齊普夫定律過濾所述待標引文本中詞頻過高和過低的詞匯，獲得候選詞集合，包括：

計算所述待標引文本中詞匯的詞頻，對詞頻進行排序，按排序順序對詞頻進行編號；

繪制詞頻與編號之間的曲線圖，選取斜率在一定范圍內的詞匯構建候選詞集。

4.根據權利要求1所述的文本主題標引的方法，其特征在于，所述基于所述候選詞集合，生成所述候選詞集合的詞共現矩陣，包括：

基于所述文本詞序列，設置長度為N的滑動窗口，滑動窗口內出現的詞匯之間定義為共現關系，通過對所述候選詞集合進行窗口滑動，記錄候選詞集中詞與詞之間的共現次數，生成候選詞集的詞共現矩陣。

5.一種文本主題標引的裝置，其特征在于，包括：

獲取模塊，用于獲取待標引文本，利用齊普夫定律過濾所述待標引文本中詞頻過高和過低的詞匯，獲得候選詞集合；

處理模塊，用于對所述待標引文本進行預處理，得到文本詞序列，對所述文本詞序列進行聚類分析，得到每個簇的權重P；

生成模塊，用于基于所述候選詞集合，生成所述候選詞集合的詞共現矩陣，基于所述詞共現矩陣構建雙向詞圖，在所述雙向詞圖中迭代計算每個節點的Rank值；

標引模塊，用于基于所述每個簇的權重P與所述每個節點的Rank值標引文本主題。

6.根據權利要求5所述的文本主題標引的裝置，其特征在于，所述處理模塊，包括：

過濾單元，用于過濾所述待標引文本的圖片、表格和公式數據，得到處理后的所述待標引文本；

處理單元，用于利用專業領域詞表和停用詞詞對所述處理后的所述待標引文本進行分句和分詞處理，得到所述文本詞序列。

7.根據權利要求5所述的文本主題標引的裝置，其特征在于，所述獲取模塊，包括：

計算單元，用于計算所述待標引文本中詞匯的詞頻，對詞頻進行排序，按排序順序對詞頻進行編號；

選取單元，用于繪制詞頻與編號之間的曲線圖，選取斜率在一定范圍內的詞匯構建候選詞集。

8.根據權利要求5所述的文本主題標引的裝置，其特征在于，所述生成模塊，包括：

生成單元，用于基于所述文本詞序列，設置長度為N的滑動窗口，滑動窗口內出現的詞匯之間定義為共現關系，通過對所述候選詞集合進行窗口滑動，記錄候選詞集中詞與詞之間的共現次數，生成候選詞集的詞共現矩陣。

9.一種文本主題標引的設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至4任一項所述文本主題標引的方法的步驟。

10.一種可讀存儲介質，其特征在于：所述可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至4任一項所述文本主題標引的方法的步驟。