[發明專利]一種數據增強方法和裝置

在審

• 申請號: 201811093348.4
• 申請日: 2018-09-19
• 公開（公告）號: CN110929512A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 安旭
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

1.一種數據增強方法，其特征在于，包括：

采用分詞器對原始詞向量訓練數據中的標題進行分詞，得到多個分詞；

分別確定相鄰兩個分詞之間的關聯性，將具有強關聯性的兩個分詞作為一個短語加入到結果序列中，將具有弱關聯性的兩個分詞分別加入到結果序列中；

隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據。

2.根據權利要求1所述的方法，其特征在于，分別計算相鄰兩個分詞之間的關聯性，包括：

通過以下公式分別計算相鄰兩個分詞的點互信息，

其中，x、y分別表示相鄰的兩個分詞，PMI(x,y)表示分詞x、分詞y的點互信息，P(x,y)表示分詞x、分詞y共同出現的概率，P(x)表示分詞x出現的概率，P(y)表示分詞y出現的概率；

根據所述點互信息和超參數的乘積與隨機數的差值，確定所述相鄰兩個分詞之間的關聯性；其中，所述超參數大于0并且小于1，所述隨機數大于0并且小于1。

3.根據權利要求2所述的方法，其特征在于，根據所述點互信息和超參數的乘積與隨機數的差值，確定相鄰兩個分詞之間的關聯性，包括：

若所述點互信息和超參數的乘積大于所述隨機數，則確定所述兩個分詞之間具有強關聯性；

若所述點互信息和超參數的乘積小于等于所述隨機數，則確定所述兩個分詞之間具有弱關聯性。

4.根據權利要求1所述的方法，其特征在于，隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據，包括：

將每個所述結果序列中的分詞和短語的位序隨機打亂N次，將得到的N*M個打亂后的結果序列作為新的詞向量訓練數據；

其中，N為正整數，M為原始詞向量訓練數據中的標題數量，并且M為正整數。

5.根據權利要求1所述的方法，其特征在于，采用分詞器對標題進行分詞，得到多個分詞，包括：

采用條件隨機場模型作為分詞器，對原始詞向量訓練數據中的標題進行分詞，得到多個分詞。

6.一種數據增強裝置，其特征在于，包括：

分詞模塊，用于采用分詞器對原始詞向量訓練數據中的標題進行分詞，得到多個分詞；

關聯模塊，用于分別確定相鄰兩個分詞之間的關聯性，將具有強關聯性的兩個分詞作為一個短語加入到結果序列中，將具有弱關聯性的兩個分詞分別加入到結果序列中；

打亂模塊，用于隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據。

7.根據權利要求6所述的裝置，其特征在于，分別計算相鄰兩個分詞之間的關聯性，包括：

通過以下公式分別計算相鄰兩個分詞的點互信息，

其中，x、y分別表示相鄰的兩個分詞，PMI(x,y)表示分詞x、分詞y的點互信息，P(x,y)表示分詞x、分詞y共同出現的概率，P(x)表示分詞x出現的概率，P(y)表示分詞y出現的概率；

根據所述點互信息和超參數的乘積與隨機數的差值，確定所述相鄰兩個分詞之間的關聯性；其中，所述超參數大于0并且小于1，所述隨機數大于0并且小于1。

8.根據權利要求7所述的裝置，其特征在于，根據所述點互信息和超參數的乘積與隨機數的差值，確定相鄰兩個分詞之間的關聯性，包括：

若所述點互信息和超參數的乘積大于所述隨機數，則確定所述兩個分詞之間具有強關聯性；

若所述點互信息和超參數的乘積小于等于所述隨機數，則確定所述兩個分詞之間具有弱關聯性。

9.根據權利要求6所述的裝置，其特征在于，所述打亂模塊用于：

將每個所述結果序列中的分詞和短語的位序隨機打亂N次，將得到的N*M個打亂后的結果序列作為新的詞向量訓練數據；

其中，N為正整數，M為原始詞向量訓練數據中的標題數量，并且M為正整數。