[發明專利]語料處理、詞向量獲取方法及裝置、存儲介質及設備

有效

• 申請號: 201710854725.0
• 申請日: 2017-09-20
• 公開（公告）號: CN110019830B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 孫仕杰;于東海
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/30
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

1.一種語料處理方法，應用于計算端，其特征在于，包括以下步驟：

獲取預設語料文本中的子語料文本，分析確定所述子語料文本中的詞及各詞的編號；

基于所述子語料文本確定應用在當前計算端的詞向量，所述詞向量的行與詞的編號對應；

根據存儲端與向量的列標識之間的對應關系、以及所述詞向量中的各列向量的列標識，分別將與各存儲端對應的列標識對應的列向量發送至各所述存儲端；

將所述子語料文本切分成各子訓練文本；

將各所述子訓練文本中的一個子訓練文本作為本輪子訓練文本；

向各所述存儲端廣播攜帶本輪子訓練文本中各詞的編號的訓練請求；

在接收到各所述存儲端響應所述訓練請求返回的回應信息后，將各所述子訓練文本的下一個子訓練文本作為本輪訓練文本，返回向各所述存儲端廣播攜帶本輪子訓練文本中各詞的編號的訓練請求的步驟，直到各所述子訓練文本中各詞的編號的訓練請求發送完畢。

2.根據權利要求1所述的語料處理方法，其特征在于，基于所述子語料文本確定應用在當前計算端的詞向量的方式包括：

當前計算端從各計算端的子語料文本中的詞的并集中，拉取部分詞，其中，各計算端分別拉取的部分詞的交集為零，各計算端分別拉取的各部分詞的并集為各計算端的子語料文本中的詞的并集；

當前計算端對拉取的所述部分詞進行向量初始化，獲得所述子語料文本應用在當前計算端的詞向量。

3.根據權利要求1所述的語料處理方法，其特征在于，所述回應信息包括子更新值；

在接收到各存儲端響應所述訓練請求返回的回應信息之后，將各所述子訓練文本中的下一個子訓練文本作為本輪訓練文本之前，還包括步驟：

根據各存儲端返回的所述子更新值獲得總更新值，并將所述總更新值廣播至各所述存儲端。

4.根據權利要求1所述的語料處理方法，其特征在于，在向各所述存儲端廣播攜帶本輪子訓練文本中各詞的編號的訓練請求時，該訓練請求的數量為至少兩個，任意一個訓練請求攜帶小于或等于預設數量個詞的編號，各訓練請求分別攜帶的詞的編號的數量之和與所述本輪子訓練文本中各詞的編號的總數量相同。

5.一種詞向量獲取方法，應用于存儲端，其特征在于，包括以下步驟：

接收各計算端發送的詞向量中的列向量，所述列向量的列標識與當前存儲端對應，所述詞向量的行與詞的編號對應；

響應計算端廣播的攜帶本輪子訓練文本中各詞的編號的訓練請求，對所述列向量中所述訓練請求攜帶的編號對應的各行向量進行語言訓練，獲得當前存儲端基于所述訓練請求的子更新值；

向廣播所述訓練請求的所述計算端返回回應信息；

獲取根據各存儲端基于所述訓練請求的子更新值確定的總更新值；

根據所述總更新值對所述列向量中所述訓練請求攜帶的編號對應的各行向量進行更新；

返回響應計算端廣播的攜帶本輪子訓練文本中各詞的編號的訓練請求的步驟，直到廣播所述訓練請求的所述計算端的各子訓練文本中各詞的編號的訓練請求均響應完畢，獲得更新后的所述列向量。

6.根據權利要求5所述的詞向量獲取方法，其特征在于，所述回應信息包括當前存儲端基于所述訓練請求的子更新值；

獲取根據各存儲端基于所述訓練請求的子更新值確定的總更新值的步驟包括：

接收所述計算端根據各所述存儲端返回的子更新值確定的所述總更新值。

7.根據權利要求5所述的詞向量獲取方法，其特征在于，所述獲取根據各存儲端基于所述訓練請求的子更新值確定的總更新值的步驟包括：

將當前存儲端基于所述訓練請求的子更新值，廣播至除當前存儲端以外的其他各存儲端，并接收其他各存儲端廣播的其他各前存儲端基于所述訓練請求的子更新值；

基于當前存儲端基于所述訓練請求的子更新值、除當前存儲端以外的其他各前存儲端基于所述訓練請求的子更新值，確定所述總更新值。