[發明專利]數據處理方法、裝置、服務器及系統

有效

• 申請號: 201710189778.5
• 申請日: 2017-03-27
• 公開（公告）號: CN106951925B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 趙海豐;楊成;黃鵬;劉海旭;江嶺
• 申請（專利權）人: 成都曉多科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹桓

1.一種數據處理方法，其特征在于，所述方法包括：

從第三方平臺實時獲取聊天記錄，生成總樣本集；

從所述總樣本集中獲取本次待標注樣本集，并發送到用戶終端；其中，所述本次待標注樣本集為所述總樣本集的子集；

接收所述用戶終端返回的第一標注結果集；

根據所述第一標注結果集，進行模型訓練，獲取訓練模型并對所述訓練模型的準確率進行評估；

若評估結果不滿足預設條件，根據所述訓練模型，重新從所述總樣本集中獲取下次待標注樣本集，并發送到所述用戶終端，接收所述用戶終端返回的第二標注結果集，根據所述第二標注結果集，重新獲取訓練模型并對該訓練模型的準確率進行評估，直到評估結果滿足預設條件，將所述評估結果滿足預設條件對應的訓練模型作為最終模型；其中，所述下次待標注樣本集為所述總樣本集的子集；

其中，所述根據所述訓練模型，重新從所述總樣本集中獲取下次待標注樣本集，包括：

根據所述訓練模型，分別對所述總樣本集中的各個樣本進行判定，獲取每個樣本對應的判定結果；

根據所述每個樣本對應的判定結果，獲取下次待標注樣本集；

所述從總樣本集中獲取本次待標注樣本集，包括：

根據第一預設關鍵詞集，從總樣本集中篩選出本次待標注樣本集；

所述根據所述訓練模型，分別對所述總樣本集中的各個樣本進行判定，獲取每個樣本對應的判定結果，包括：

根據第二預設關鍵詞集，從所述總樣本集中篩選出下次待標注候選樣本集；

根據所述訓練模型，分別對所述下次待標注候選樣本集中的各個樣本進行判定，獲取每個樣本對應的判定結果；

所述每個樣本對應的判定結果為一個概率值，所述根據所述每個樣本對應的判定結果，獲取下次待標注樣本集，包括：

依次遍歷每個樣本對應的概率值，若當前樣本對應的概率值屬于預設區間，則將所述當前樣本加入所述下次待標注樣本集中，直到遍歷完每個樣本對應的概率值。

2.根據權利要求1所述的方法，其特征在于，在所述對所述訓練模型的準確率進行評估之后，所述方法還包括：

若評估結果滿足預設條件，則將所述訓練模型作為最終模型。

3.一種數據處理裝置，其特征在于，所述裝置包括：

第一處理模塊，用于從第三方平臺實時獲取聊天記錄，生成總樣本集；從所述總樣本集中獲取本次待標注樣本集，并發送到用戶終端；其中，所述本次待標注樣本集為所述總樣本集的子集；

接收模塊，用于接收所述用戶終端返回的第一標注結果集；

第二處理模塊，用于根據所述第一標注結果集，進行模型訓練，獲取訓練模型并對所述訓練模型的準確率進行評估；

第三處理模塊，用于若評估結果不滿足預設條件，根據所述訓練模型，重新從所述總樣本集中獲取下次待標注樣本集，并發送到所述用戶終端，接收所述用戶終端返回的第二標注結果集，根據所述第二標注結果集，重新獲取訓練模型并對該訓練模型的準確率進行評估，直到評估結果滿足預設條件，將所述評估結果滿足預設條件對應的訓練模型作為最終模型；其中，所述下次待標注樣本集為所述總樣本集的子集；

其中，所述第三處理模塊具體用于：根據所述訓練模型，分別對所述總樣本集中的各個樣本進行判定，獲取每個樣本對應的判定結果；根據所述每個樣本對應的判定結果，獲取下次待標注樣本集；

所述第一處理模塊具體用于根據第一預設關鍵詞集，從總樣本集中篩選出本次待標注樣本集；

所述第三處理模塊具體還用于根據第二預設關鍵詞集，從所述總樣本集中篩選出下次待標注候選樣本集；根據所述訓練模型，分別對所述下次待標注候選樣本集中的各個樣本進行判定，獲取每個樣本對應的判定結果；

所述第三處理模塊具體還用于依次遍歷每個樣本對應的概率值，若當前樣本對應的概率值屬于預設區間，則將所述當前樣本加入所述下次待標注樣本集中，直到遍歷完每個樣本對應的概率值。