[發明專利]一種數據集構建和相關信息獲取方法及其裝置

有效

• 申請號: 202010093817.3
• 申請日: 2020-02-14
• 公開（公告）號: CN111353300B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 王立成;劉賀鵬;李欣;趙忠華;付培國;王祿恒;萬欣欣;孫立遠;張冰;杜漫;余智華
• 申請（專利權）人: 中科天璣數據科技股份有限公司;國家計算機網絡與信息安全管理中心
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/289;G06F18/214;G06F18/241
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 蔡巖巖

1.一種數據集構建方法，其特征在于，包括步驟：

數據采集，獲取來自互聯網數據源的第一數據，所述第一數據包括自然語言，所述第一數據經過預處理后，生成第二數據；

數據特征分析，所述第二數據包括子數據，所述子數據包括第一特征數據，分析所述第一特征數據，得出所述第一特征數據的特征度；

數據標簽建立，根據所述第一特征數據的特征度確定所述子數據標簽；

數據分類存儲，根據所述子數據標簽將所述子數據分類保存，保存為數據集；

所述第一特征數據的獲取步驟包括：通過將所述子數據進行分詞，將所述子數據分成候選文字串，所述候選文字串包括中文候選文字串和非中文候選文字串；將所述非中文候選文字串直接作為所述第一特征數據；分析所述中文候選文字串在所述子數據中的出現頻率；接收頻率閾值參數；判斷所述中文候選文字串是否大于所述頻率閾值參數：若否，判定不為所述第一特征數據，若是，判定為所述第一特征數據；

所述第一特征數據的特征度確定所述子數據標簽還包括：分析所述第一特征數據得出第一特征向量；結合所述第一特征向量和所述第一特征數據的特征度，得出第二特征向量；判斷所述第二特征向量個數是否大于第一數量閾值參數：若否，輸出所述第二特征向量為所述子數據標簽；若是，分析所述第二特征向量，輸出子數據標簽；

所述根據所述子數據標簽將所述子數據分類保存包括：將所述子數據標簽劃分成子標簽，所述子數據標簽包括第一子標簽、第二子標簽、第三子標簽和第四子標簽，將所述第一子標簽相同的子數據歸為同一類；

相關信息獲取包括步驟：獲取初始信息；根據所述初始信息確定初始信息標簽；根據所述初始信息標簽在所述的數據集中提取第一候選數據集，所述第一候選數據集包括第一候選數據；接收相關度閾值參數，分析所述初始信息與所述第一候選數據，得出數據相關度；判斷所述數據相關度是否大于所述相關度閾值參數；若是，判定大于所述相關度閾值參數的第一候選數據為無關數據；若否，判定小于所述相關度閾值參數的第一候選數據為相關數據，輸出所述相關數據；

所述相關度獲取方法為：依次對比初始信息數據標簽和第一候選數據的每位數據，并判斷是否相同，不同位的數量記為相關度；

根據所述初始信息確定初始信息標簽包括：所述初始信息包括第一初始特征數據，分析所述第一初始特征數據得出所述第一初始特征數據的特征度；分析所述第一初始特征數據得出第一初始特征向量，結合所述第一初始特征向量和所述第一初始特征數據的特征度，得出第二初始特征向量；判斷所述第二初始特征向量數量是否大于第二數量閾值參數：若否，輸出所述第二初始特征向量為所述初始信息數據標簽；若是，分析所述第二初始特征向量，輸出所述初始信息數據標簽；

將所述初始信息數據標簽劃分成第一初始子標簽、第二初始子標簽、第三初始子標簽和第四初始子標簽，所述第一初始子標簽、第二初始子標簽、第三初始子標簽和第四初始子標簽順序組合能組成原所述初始信息數據標簽；將所述第一初始子標簽、第二初始子標簽、第三初始子標簽和第四初始子標簽分別作為第一初始子標簽在所述數據集中提取出第一候選數據集。

2.根據權利要求1所述的數據集構建方法，其特征在于：所述數據集構建方法還包括子數據類型排序，所述第一數據每隔第一時間段采集一次，根據所述第一時間段的各所述子數據類型的子數據增量對所述各子數據類型排序。

3.一種數據集構建裝置，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述權利要求1-2任一項的方法。

4.一種相關信息獲取裝置，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述權利要求1-2任一項的方法。