[發明專利]用于訓練混合模型的方法和設備

在審

• 申請號: 201610201314.7
• 申請日: 2016-03-31
• 公開（公告）號: CN107292324A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 馮璐;劉春辰;衛文娟
• 申請（專利權）人: 日本電氣株式會社
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市金杜律師事務所11256
• 代理人: 王茂華

1.一種用于訓練混合模型的方法，所述混合模型包括多個子模型，所述方法包括：

響應于接收到第一組數據，確定所述第一組數據相對于所述多個子模型間的第一分布；

對所述第一組數據進行降維，以確定經降維的所述第一組數據的第二分布；

基于所述第一分布和所述第二分布來更新用于所述多個子模型的模型參數的第三分布；

響應于在第一組數據之后接收到第二組數據，確定所述第二組數據相對于所述多個子模型間的第四分布；

對所述第二組數據進行降維，以確定經降維的所述第二組數據的第五分布；以及

基于所述第四分布和所述第五分布來更新所述第三分布。

2.根據權利要求1所述的方法，其中所述第一分布由所述第一組數據的第一隱變量的變分分布來表示，并且確定所述第一分布包括：

確定用于控制所述第一隱變量的所述變分分布的、與所述第一組數據相對應的第一參數。

3.根據權利要求2所述的方法，其中確定所述第一分布還包括：

確定所述第一參數，以使得所述混合模型的目標函數的值最大。

4.根據權利要求1所述的方法，其中所述第二分布由所述第一組數據的第二隱變量的變分分布來表示，并且確定所述第二分布包括：

確定用于控制所述第二隱變量的所述變分分布的、與所述第一組數據相對應的第二參數。

5.根據權利要求4所述的方法，其中確定所述第二分布還包括：

確定所述第二參數，以使得所述混合模型的目標函數的值最大。

6.根據權利要求1所述的方法，其中所述第三分布由所述第一組數據的第三隱變量的變分分布來表示，并且更新所述第三分布包括：

更新用于控制所述第三隱變量的所述變分分布的第三參數。

7.根據權利要求6所述的方法，其中更新所述第三分布還包括：

通過計算所述混合模型的目標函數相對于所述第三參數的自然梯度來更新所述第三參數。

8.根據權利要求1所述的方法，其中基于所述第一分布和所述第二分布來更新用于所述多個子模型的模型參數的第三分布包括：

迭代執行以下操作至少一次，直至收斂條件被滿足：

基于所述第一分布和所述第二分布來更新所述第三分布；以及

基于更新后的所述第三分布，更新所述第一分布和所述第二分布。

9.根據權利要求8所述的方法，其中所述收斂條件包括以下至少一個：

所述迭代的次數達到預定次數，以及

所述混合模型的目標函數的變化量低于預定閾值。

10.根據權利要求1所述的方法，還包括：

從數據集合中選擇所述第一組數據；以及

從所述數據集合中選擇與所述第一組數據所包含的樣本數目相同的所述第二組數據。

11.根據權利要求1所述的方法，還包括：

從數據流中接收所述第一組數據；以及

在接收到所述第一組數據之后，從所述數據流中接收所述第二組數據。

12.根據權利要求1-11中的任一項所述的方法，其中所述混合模型是貝葉斯主成分分析混合模型，并且所述混合模型的目標函數是針對所述貝葉斯主成分分析混合模型的證據下界。

13.一種用于訓練混合模型的設備，所述混合模型包括多個子模型，所述設備包括：

至少一個處理單元，被配置為：

響應于接收到第一組數據，確定所述第一組數據相對于所述多個子模型間的第一分布；

對所述第一組數據進行降維，以確定經降維的所述第一組數據的第二分布；

基于所述第一分布和所述第二分布來更新用于所述多個子模型的模型參數的第三分布；

響應于在第一組數據之后接收到第二組數據，確定所述第二組數據相對于所述多個子模型間的第四分布；

對所述第二組數據進行降維，以確定經降維的所述第二組數據的第五分布；以及

基于所述第四分布和所述第五分布來更新所述第三分布。

14.根據權利要求13所述的設備，其中所述第一分布由所述第一組數據的第一隱變量的變分分布來表示，并且確定所述第一分布包括：

確定用于控制所述第一隱變量的所述變分分布的、與所述第一組數據相對應的第一參數。