[發明專利]數據處理方法和裝置

在審

• 申請號: 201911307167.1
• 申請日: 2019-12-18
• 公開（公告）號: CN111104482A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 曹宇慧;馮仕堃;陳徐屹;何徑舟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種數據處理方法，所述方法包括：

獲取樣本集，其中，所述樣本集中的樣本為無標注的語句；

將所述樣本集中的多個目標樣本分別輸入預先訓練的第一自然語言處理模型，得到從所述預先訓練的第一自然語言處理模型輸出的預測結果；

將得到的預測結果分別確定為所述多個目標樣本中各個目標樣本的標注；

基于所述多個目標樣本和所述各個目標樣本的標注，對待訓練的第二自然語言處理模型進行訓練，得到訓練后的第二自然語言處理模型，其中，所述第一自然語言處理模型中的參數，多于所述第二自然語言處理模型中的參數。

2.根據權利要求1所述的方法，其中，所述目標樣本的標注用于指示目標樣本屬于至少兩個類型中的任一類型的概率。

3.根據權利要求1所述的方法，其中，所述方法還包括：

將所述樣本集的樣本的目標詞替換為指定標識，其中，在包含指定標識的樣本中，所述目標詞的數量占該樣本的詞的數量的目標比例或目標數量；

將包含所述指定標識的樣本，新增為所述樣本集的樣本。

4.根據權利要求1所述的方法，其中，所述方法還包括：

將所述樣本集的樣本的目標詞，更新為詞性一致的另一個詞，其中，在更新后的樣本中，所述目標詞的數量占該樣本的詞的數量的目標比例或目標數量；

將更新后的樣本新增為所述樣本集的樣本。

5.根據權利要求1所述的方法，其中，所述方法還包括：

對于所述樣本集的樣本，截取目標長度的片段；

將截取到的片段新增為所述樣本集的樣本。

6.一種數據處理裝置，所述裝置包括：

獲取單元，被配置成獲取樣本集，其中，所述樣本集中的樣本為無標注的語句；

輸入單元，被配置成將所述樣本集中的多個目標樣本分別輸入預先訓練的第一自然語言處理模型，得到從所述預先訓練的第一自然語言處理模型輸出的預測結果；

確定單元，被配置成將得到的預測結果分別確定為所述多個目標樣本中各個目標樣本的標注；

訓練單元，被配置成基于所述多個目標樣本和所述各個目標樣本的標注，對待訓練的第二自然語言處理模型進行訓練，得到訓練后的第二自然語言處理模型，其中，所述第一自然語言處理模型中的參數，多于所述第二自然語言處理模型中的參數。

7.根據權利要求6所述的裝置，其中，所述目標樣本的標注用于指示目標樣本屬于至少兩個類型中的任一類型的概率。

8.根據權利要求6所述的裝置，其中，所述裝置還包括：

將所述樣本集的樣本的目標詞替換為指定標識，其中，在包含指定標識的樣本中，所述目標詞的數量占該樣本的詞的數量的目標比例或目標數量；

將包含所述指定標識的樣本，新增為所述樣本集的樣本。

9.根據權利要求6所述的裝置，其中，所述裝置還包括：

將所述樣本集的樣本的目標詞，更新為詞性一致的另一個詞，其中，在更新后的樣本中，所述目標詞的數量占該樣本的詞的數量的目標比例或目標數量；

將更新后的樣本新增為所述樣本集的樣本。

10.根據權利要求6所述的裝置，其中，所述裝置還包括：

對于所述樣本集的樣本，截取目標長度的片段；

將截取到的片段新增為所述樣本集的樣本。

11.一種電子設備，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-5中任一所述的方法。

12.一種計算機可讀存儲介質，其上存儲有計算機程序，其中，該程序被處理器執行時實現如權利要求1-5中任一所述的方法。