[發(fā)明專(zhuān)利]最優(yōu)主題數(shù)獲取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611265195.8
• 申請(qǐng)日: 2016-12-30
• 公開(kāi)（公告）號(hào): CN106815214B
• 公開(kāi)（公告）日: 2019-11-22
• 發(fā)明（設(shè)計(jì)）人: 趙耕弘;張霞;趙立軍;崔朝輝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27
• 代理公司: 11227 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 薛嬌;王寶筠<國(guó)際申請(qǐng)>=<國(guó)際公布>=

1.一種最優(yōu)主題數(shù)獲取方法，其特征在于，包括：

獲取主題模型中使用的若干個(gè)主題數(shù)；

對(duì)應(yīng)每一個(gè)所述主題數(shù)，獲取所述主題數(shù)對(duì)應(yīng)的，每個(gè)主題中每個(gè)詞語(yǔ)出現(xiàn)的第一概率，以及每個(gè)文檔中每個(gè)主題出現(xiàn)的第二概率；

基于所述第一概率和所述第二概率，計(jì)算兩兩主題間的第一相似度，以及兩兩詞語(yǔ)間的第二相似度；

基于所述主題數(shù)對(duì)應(yīng)的兩兩主題間的第一相似度、所述主題數(shù)對(duì)應(yīng)的兩兩詞語(yǔ)間的第二相似度以及所述主題數(shù)，計(jì)算所述主題數(shù)對(duì)應(yīng)的平衡相似度，所述平衡相似度的大小用于衡量主題數(shù)的優(yōu)劣；

將平衡相似度滿足預(yù)設(shè)條件時(shí)的主題數(shù)確定為最優(yōu)主題數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述主題數(shù)對(duì)應(yīng)的兩兩主題間的第一相似度、所述主題數(shù)對(duì)應(yīng)的兩兩詞語(yǔ)間的第二相似度以及所述主題數(shù)，計(jì)算所述主題數(shù)對(duì)應(yīng)的平衡相似度，包括：

計(jì)算所述主題數(shù)對(duì)應(yīng)的兩兩主題間的第一相似度的第一和值，以及所述主題數(shù)對(duì)應(yīng)的兩兩詞語(yǔ)間的第二相似度的第二和值；

將所述第一和值和所述第二和值的乘積與所述主題數(shù)的平方值做商運(yùn)算，得到所述主題數(shù)對(duì)應(yīng)的平衡相似度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將平衡相似度滿足預(yù)設(shè)條件時(shí)的主題數(shù)確定為最優(yōu)主題數(shù)，包括：

將平衡相似度最小時(shí)的主題數(shù)確定為最優(yōu)主題數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述第一概率計(jì)算兩兩主題間的第一相似度，包括：

獲取與第一主題對(duì)應(yīng)的第一向量，以及與第二主題對(duì)應(yīng)的第二向量；所述第一向量中的元素為所述第一主題中各個(gè)詞語(yǔ)出現(xiàn)的第一概率，所述第二向量中的元素為所述第二主題中各個(gè)詞語(yǔ)出現(xiàn)的第一概率；

基于所述第一向量和所述第二向量計(jì)算所述第一主題和所述第二主題間的第一相似度。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述第一概率和所述第二概率計(jì)算兩兩詞語(yǔ)間的第二相似度，包括：

計(jì)算不同文檔中同一主題出現(xiàn)的第二概率的第三和值；

對(duì)應(yīng)每一個(gè)主題，計(jì)算主題對(duì)應(yīng)的所述第三和值與主題中第一詞語(yǔ)出現(xiàn)的第一概率的第一乘積，將第一乘積結(jié)果與語(yǔ)料庫(kù)中所述第一詞語(yǔ)的詞頻做商運(yùn)算，得到在所述第一詞語(yǔ)出現(xiàn)的條件下，每一個(gè)主題的第三概率；計(jì)算主題對(duì)應(yīng)的所述第三和值與主題中第二詞語(yǔ)出現(xiàn)的第一概率的第二乘積，將第二乘積結(jié)果與語(yǔ)料庫(kù)中所述第二詞語(yǔ)的詞頻做商運(yùn)算，得到在所述第二詞語(yǔ)出現(xiàn)的條件下，每一個(gè)主題的第四概率；

獲取與所述第一詞語(yǔ)對(duì)應(yīng)的第三向量，以及與所述第二詞語(yǔ)對(duì)應(yīng)的第四向量；所述第三向量中的元素為在所述第一詞語(yǔ)出現(xiàn)的條件下，各個(gè)主題的第三概率；所述第四向量中的元素為在所述第二詞語(yǔ)出現(xiàn)的條件下，各個(gè)主題的第四概率；

基于所述第三向量和所述第四向量計(jì)算所述第一詞語(yǔ)和所述第二詞語(yǔ)間的第二相似度。

6.一種最優(yōu)主題數(shù)獲取裝置，其特征在于，包括：

第一獲取模塊，用于獲取主題模型中使用的若干個(gè)主題數(shù)；

第二獲取模塊，用于對(duì)應(yīng)每一個(gè)所述主題數(shù)，獲取所述主題數(shù)對(duì)應(yīng)的，每個(gè)主題中每個(gè)詞語(yǔ)出現(xiàn)的第一概率，以及每個(gè)文檔中每個(gè)主題出現(xiàn)的第二概率；

第一計(jì)算模塊，用于基于所述第一概率和所述第二概率，計(jì)算兩兩主題間的第一相似度，以及兩兩詞語(yǔ)間的第二相似度；

第二計(jì)算模塊，用于基于所述主題數(shù)對(duì)應(yīng)的兩兩主題間的第一相似度、所述主題數(shù)對(duì)應(yīng)的兩兩詞語(yǔ)間的第二相似度以及所述主題數(shù)，計(jì)算所述主題數(shù)對(duì)應(yīng)的平衡相似度，所述平衡相似度的大小用于衡量主題數(shù)的優(yōu)劣；

確定模塊，用于將平衡相似度滿足預(yù)設(shè)條件時(shí)的主題數(shù)確定為最優(yōu)主題數(shù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二計(jì)算模塊包括：

第一計(jì)算單元，用于計(jì)算所述主題數(shù)對(duì)應(yīng)的兩兩主題間的第一相似度的第一和值，以及所述主題數(shù)對(duì)應(yīng)的兩兩詞語(yǔ)間的第二相似度的第二和值；

第二計(jì)算單元，用于將所述第一和值和所述第二和值的乘積與所述主題數(shù)的平方值做商運(yùn)算，得到所述主題數(shù)對(duì)應(yīng)的平衡相似度。