[發(fā)明專利]基于變分自編碼器的聚類方法和裝置

在審

• 申請?zhí)枺?/td>: 202011206103.5
• 申請日: 2020-11-02
• 公開（公告）號: CN112488148A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計）人: 裴丹;李之涵
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

1.一種基于變分自編碼器的聚類方法，其特征在于，包括：

獲取輸入數(shù)據(jù)x；

將所述輸入數(shù)據(jù)x，結(jié)合變分自編碼器，獲取對應(yīng)的離散類別隱變量y及連續(xù)高斯隱變量z；

將所述輸入數(shù)據(jù)x、所述離散類別隱變量y以及所述連續(xù)高斯隱變量z，結(jié)合所述變分自編碼器，獲取對應(yīng)的聯(lián)合概率分布q(z,y|x)；

利用所述變分自編碼器對所述聯(lián)合概率分布q(z,y|x)進(jìn)行直接分解，根據(jù)所述離散類別隱變量y的概率分布，確定所述輸入數(shù)據(jù)x的類別。

2.如權(quán)利要求1所述的方法，其特征在于，所述利用所述變分自編碼器對所述聯(lián)合概率分布q(z,y|x)進(jìn)行直接分解，具體表現(xiàn)公式為：

q(z,y|x)＝q(z|y,x)q(y|x)

其中，q(y|x)表示所述離散類別隱變量y的概率分布，q(z|y,x)表示所述連續(xù)高斯隱變量z的概率分布。

3.如權(quán)利要求1所述的方法，其特征在于，將所述輸入數(shù)據(jù)x，結(jié)合變分自編碼器，獲取對應(yīng)的離散類別隱變量y及連續(xù)高斯隱變量z之前，還包括，

采用蒙特卡洛目標(biāo)作為損失函數(shù)，結(jié)合方差退火，對所述變分自編碼器進(jìn)行模型訓(xùn)練。

4.如權(quán)利要求3所述的方法，其特征在于，所述采用蒙特卡洛目標(biāo)作為損失函數(shù)，具體表現(xiàn)公式為：

其中，L^M(x；θ,φ)表示訓(xùn)練的蒙特卡洛目標(biāo)，表示對采樣得到的聯(lián)合樣本求期望，q_φ(z,y|x)表示可學(xué)習(xí)的后驗分布，p_θ(x,y^(m),z^(m))和q_φ(z^(m),y^(m)|x)表示第m組(y，z)聯(lián)合樣本后求得的概率密度。

5.一種基于變分自編碼器的聚類裝置，其特征在于，包括：

第一獲取模塊，用于獲取輸入數(shù)據(jù)x；

第二獲取模塊，用于將所述輸入數(shù)據(jù)x，結(jié)合變分自編碼器，獲取對應(yīng)的離散類別隱變量y及連續(xù)高斯隱變量z；

第三獲取模塊，用于將所述輸入數(shù)據(jù)x、所述離散類別隱變量y以及所述連續(xù)高斯隱變量z，結(jié)合所述變分自編碼器，獲取對應(yīng)的聯(lián)合概率分布q(z,y|x)；

聚類模塊，用于利用所述變分自編碼器對所述聯(lián)合概率概率分布q(z,y|x)進(jìn)行直接分解，根據(jù)所述離散類別隱變量y的概率分布，確定所述輸入數(shù)據(jù)x的類別。

6.如權(quán)利要求5所述的裝置，其特征在于，所述利用所述變分自編碼器對所述聯(lián)合概率分布q(z,y|x)進(jìn)行直接分解，具體表現(xiàn)公式為：

q(z,y|x)＝q(z|y,x)q(y|x)

其中，q(y|x)表示所述離散類別隱變量y的概率分布，q(z|y,x)表示所述連續(xù)高斯隱變量z的概率分布。

7.如權(quán)利要求5所述的裝置，其特征在于，所述裝置還包括：

訓(xùn)練模塊，用于采用蒙特卡洛目標(biāo)作為損失函數(shù)，結(jié)合方差退火，對所述變分自編碼器進(jìn)行模型訓(xùn)練。

8.如權(quán)利要求7所述的裝置，其特征在于，所述采用蒙特卡洛目標(biāo)作為損失函數(shù)，具體表現(xiàn)公式為：

其中，L^M(x；θ,φ)表示訓(xùn)練的蒙特卡洛目標(biāo)，表示采樣得到的聯(lián)合樣本求期望，q_φ(z,y|x)表示可學(xué)習(xí)的后驗分布，p_θ(x,y^(m),z^(m))和q_φ(z^(m),y^(m)|x)表示第m組(y，z)聯(lián)合樣本的概率密度。