[發明專利]語料處理方法、設備、存儲介質及裝置

在審

• 申請號: 202010123364.4
• 申請日: 2020-02-26
• 公開（公告）號: CN113312898A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 邱岳
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 黃嗣童

1.一種語料處理方法，其特征在于，所述語料處理方法包括以下步驟：

獲取目標領域的目標語料；

計算所述目標語料在所述目標領域的目標顯著程度；

根據所述目標顯著程度對所述目標語料進行層次劃分，獲得各層次對應的語料集；

根據所述目標顯著程度對各層次設置對應的目標層次權重；

根據所述語料集和對應的所述目標層次權重對待訓練模型進行訓練，獲得目標模型。

2.如權利要求1所述的語料處理方法，其特征在于，所述計算所述目標語料在所述目標領域的目標顯著程度，具體包括：

計算所述目標語料在目標分類中的詞頻；

計算所述目標語料在所述目標領域所有網頁文本信息中的逆文檔頻率；

根據所述詞頻和所述逆文檔頻率，計算所述目標語料在所述目標領域的目標顯著程度。

3.如權利要求1所述的語料處理方法，其特征在于，所述根據所述目標顯著程度對所述目標語料進行層次劃分，獲得各層次對應的語料集，包括：

設置各層次對應的顯著程度范圍；

判斷所述目標顯著程度所屬的顯著程度范圍；

將所述目標語料劃分至所屬的顯著程度范圍對應的層次，獲得各層次對應的語料集。

4.如權利要求1所述的語料處理方法，其特征在于，所述層次包括黑詞層次、間接黑詞層次和白詞層次，所述目標層次權重包括黑詞層次權重、間接黑詞層次權重和白詞層次權重，所述語料集包括黑詞語料集、間接黑詞語料集和白詞語料集；

根據所述語料集和對應的所述目標層次權重對待訓練模型進行訓練，獲得目標模型，包括：

根據所述黑詞層次權重、所述間接黑詞層次權重和所述白詞層次權重的大小，設置所述黑詞語料集對應的第一訓練比例、所述間接黑詞語料集對應的第二訓練比例以及所述白詞語料集對應的第三訓練比例；

根據所述第一訓練比例的黑詞語料集、所述第二訓練比例的間接黑詞語料集和所述第三訓練比例的白詞語料集，對待訓練模型進行訓練，獲得目標模型。

5.如權利要求1所述的語料處理方法，其特征在于，所述根據所述語料集和對應的所述目標層次權重對待訓練模型進行訓練，獲得目標模型之后，所述語料處理方法還包括：

獲取待識別數據，通過所述目標模型對所述待識別數據進行識別，獲得所述待識別數據的目標層次；

對所述待識別數據進行數據清洗，獲得待識別語料；

將所述待識別語料與所述語料集進行匹配；

若匹配失敗，則計算所述待識別語料在所述目標領域的待識別顯著程度；

根據所述待識別顯著程度，將所述待識別語料更新至所述語料集。

6.如權利要求1-5中任一項所述的語料處理方法，其特征在于，所述獲取目標領域的目標語料，包括：

獲取目標領域的網頁文本信息；

對所述網頁文本信息中的非法信息進行過濾，獲得清洗數據；

對所述清洗數據中的無關信息進行過濾，獲得目標語料。

7.如權利要求6所述的語料處理方法，其特征在于，所述獲取目標領域的網頁文本信息，包括：

獲取目標關鍵詞，根據所述目標關鍵詞進行迭代搜索，獲得關鍵詞列表；

根據所述關鍵詞列表進行關聯搜索，獲得與所述關鍵詞列表的關聯文本；

根據所述關聯文本在目標領域進行搜索，獲得網頁列表；

對所述網頁列表對應的網頁內容進行解析，獲得所述目標領域的網頁文本信息。

8.一種語料處理設備，其特征在于，所述語料處理設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的語料處理程序，所述語料處理程序被所述處理器執行時實現如權利要求1至7中任一項所述的語料處理方法的步驟。

9.一種存儲介質，其特征在于，所述存儲介質上存儲有語料處理程序，所述語料處理程序被處理器執行時實現如權利要求1至7中任一項所述的語料處理方法的步驟。

10.一種語料處理裝置，其特征在于，所述語料處理裝置包括：

獲取模塊，用于獲取目標領域的目標語料；

計算模塊，用于計算所述目標語料在所述目標領域的目標顯著程度；

層次劃分模塊，用于根據所述目標顯著程度對所述目標語料進行層次劃分，獲得各層次對應的語料集；

設置模塊，用于根據所述目標顯著程度對各層次設置對應的目標層次權重；

訓練模塊，用于根據所述語料集和對應的所述目標層次權重對待訓練模型進行訓練，獲得目標模型。