[發明專利]一種數據增強方法和裝置

在審

• 申請號: 201811093348.4
• 申請日: 2018-09-19
• 公開（公告）號: CN110929512A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 安旭
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

本發明公開了一種數據增強方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：采用分詞器對原始詞向量訓練數據中的標題進行分詞，得到多個分詞；分別確定相鄰兩個分詞之間的關聯性，將具有強關聯性的兩個分詞作為一個短語加入到結果序列中，將具有弱關聯性的兩個分詞分別加入到結果序列中；隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據。該實施方式能夠解決只能針對圖像處理，不能應用到自然語言處理中的技術問題。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據增強方法和裝置。

背景技術

在考察語義相似性時，往往需要使用詞向量的方式進行相似性比對。但是礙于向量訓練數據有限，這種方式取得的效果往往并不理想，因此需要擴充詞向量訓練數據。目前。常用的數據增強方法有multi-scale和multi-crop。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

multi-scale主要是對圖像的旋轉、平移、縮放；multi-crop是從原始圖像中裁剪一部分相對較小的作為訓練數據，因此現有技術中的數據增強方法只能針對圖像處理，不能應用到自然語言處理中。

發明內容

有鑒于此，本發明實施例提供一種數據增強方法和裝置，以解決只能針對圖像處理，不能應用到自然語言處理中的技術問題。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據增強方法，包括：

采用分詞器對原始詞向量訓練數據中的標題進行分詞，得到多個分詞；

分別確定相鄰兩個分詞之間的關聯性，將具有強關聯性的兩個分詞作為一個短語加入到結果序列中，將具有弱關聯性的兩個分詞分別加入到結果序列中；

隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據。

可選地，分別計算相鄰兩個分詞之間的關聯性，包括：

通過以下公式分別計算相鄰兩個分詞的點互信息，

其中，x、y分別表示相鄰的兩個分詞，PMI(x,y)表示分詞x、分詞y的點互信息，P(x,y)表示分詞x、分詞y共同出現的概率，P(x)表示分詞x出現的概率，P(y)表示分詞y出現的概率；

根據所述點互信息和超參數的乘積與隨機數的差值，確定所述相鄰兩個分詞之間的關聯性；其中，所述超參數大于0并且小于1，所述隨機數大于0并且小于1。

可選地，根據所述點互信息和超參數的乘積與隨機數的差值，確定相鄰兩個分詞之間的關聯性，包括：

若所述點互信息和超參數的乘積大于所述隨機數，則確定所述兩個分詞之間具有強關聯性；

若所述點互信息和超參數的乘積小于等于所述隨機數，則確定所述兩個分詞之間具有弱關聯性。

可選地，隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據，包括：

將每個所述結果序列中的分詞和短語的位序隨機打亂N次，將得到的N*M個打亂后的結果序列作為新的詞向量訓練數據；

其中，N為正整數，M為原始詞向量訓練數據中的標題數量，并且M為正整數。

可選地，采用分詞器對標題進行分詞，得到多個分詞，包括：

采用條件隨機場模型作為分詞器，對原始詞向量訓練數據中的標題進行分詞，得到多個分詞。

另外，根據本發明實施例的另一個方面，提供了一種數據增強裝置，包括：