[發明專利]處理用戶行為序列的方法及裝置

在審

• 申請號: 202111283645.7
• 申請日: 2021-11-01
• 公開（公告）號: CN114090401A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 朱文文;賈凡;任然;陳鴻;吳軍;胡憶桐;俞超
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張明;周良玉

1.一種處理用戶行為序列的方法，包括：

獲取N個樣本用戶各自的用戶行為序列；

分別對各個用戶行為序列進行數據增強，得到訓練樣本集；所述訓練樣本集包括多個正樣本對和多個負樣本對；其中的每個正樣本對至少包括按照不同業務，對同一用戶行為序列進行拆分所得到的兩個子序列；每個負樣本對至少包括按照不同業務，分別對至少兩個用戶行為序列進行拆分所得到的若干子序列中，來自不同用戶行為序列的兩個子序列；

將各正樣本對和各負樣本對輸入神經網絡模型，所述神經網絡模型包括具有相同網絡結構和網絡參數的兩個子模型，用于處理輸入樣本對中的兩個子序列，以得到各自對應的行為向量；

對于任意的正樣本對或負樣本對，根據其中的兩個子序列各自對應的行為向量，計算對應的距離；

以最小化所述各正樣本對中兩個子序列間的距離，最大化所述各負樣本對中兩個子序列間的距離為目標，更新所述神經網絡模型，以用于處理待分析的用戶行為序列。

2.根據權利要求1所述的方法，其中，每個正樣本對還包括對同一用戶行為序列進行等分所得到的兩個子序列；每個負樣本對還包括分別對至少兩個用戶行為序列進行等分所得到的若干子序列中，來自不同用戶行為序列的兩個子序列。

3.根據權利要求1所述的方法，其中，每個正樣本對還包括對同一用戶行為序列進行兩次隨機遮蔽所得到的兩個子序列；每個負樣本對還包括分別對至少兩個用戶行為序列進行隨機遮蔽所得到的若干子序列中，來自不同用戶行為序列的兩個子序列。

4.根據權利要求1所述的方法，還包括：

獲取目標用戶的目標行為序列；

對所述目標行為序列進行拆分，得到兩個子目標序列；

將所述兩個子目標序列輸入更新后的所述神經網絡模型，得到對應的兩個目標行為向量；

將所述兩個目標行為向量相整合后輸入業務預測模型，并根據所述業務預測模型的輸出以及所述目標用戶的標簽值，對更新后的所述神經網絡模型進行微調。

5.根據權利要求4所述的方法，其中，所述業務預測模型用于對所述目標用戶進行人臉識別，或者，所述業務預測模型用于向所述目標用戶推薦服務或商品。

6.根據權利要求1所述的方法，其中，所述兩個子模型均為Transformer編碼器，所述Transformer編碼器包括嵌入層和注意力層；

所述處理輸入樣本對中的兩個子序列，包括：

對于輸入樣本對中的第一序列，在對應的第一子模型的嵌入層，根據所述第一序列中各個行為的行為特征以及位置編碼，得到多個嵌入向量；在對應的第一子模型的注意力層，對所述多個嵌入向量加以不同的權重，得到對應的行為向量。

7.一種處理用戶行為序列的裝置，包括：

獲取單元，用于獲取N個樣本用戶各自的用戶行為序列；

增強單元，用于分別對各個用戶行為序列進行數據增強，得到訓練樣本集；所述訓練樣本集包括多個正樣本對和多個負樣本對；其中的每個正樣本對至少包括按照不同業務，對同一用戶行為序列進行拆分所得到的兩個子序列；每個負樣本對至少包括按照不同業務，分別對至少兩個用戶行為序列進行拆分所得到的若干子序列中，來自不同用戶行為序列的兩個子序列；

輸入單元，用于將各正樣本對和各負樣本對輸入神經網絡模型，所述神經網絡模型包括具有相同網絡結構和網絡參數的兩個子模型，用于處理輸入樣本對中的兩個子序列，以得到各自對應的行為向量；

計算單元，用于對于任意的正樣本對或負樣本對，根據其中的兩個子序列各自對應的行為向量，計算對應的距離；

更新單元，用于以最小化所述各正樣本對中兩個子序列間的距離，最大化所述各負樣本對中兩個子序列間的距離為目標，更新所述神經網絡模型，以用于處理待分析的用戶行為序列。

8.根據權利要求7所述的裝置，其中，每個正樣本對還包括對同一用戶行為序列進行等分所得到的兩個子序列；每個負樣本對還包括分別對至少兩個用戶行為序列進行等分所得到的若干子序列中，來自不同用戶行為序列的兩個子序列。