[發明專利]用于壓縮主題模型的方法和裝置

有效

• 申請號: 201710331369.4
• 申請日: 2017-05-11
• 公開（公告）號: CN107145485B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 鮑思琪;陳澤裕;姜迪;何徑舟
• 申請（專利權）人: 百度國際科技（深圳）有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/35
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了用于壓縮主題模型的方法和裝置。該方法的一具體實施方式包括：獲取待壓縮的主題模型，該主題模型每一行代表一個單詞在各個主題上的分布；將主題模型進行格式轉換得到第一主題模型，第一主題模型的每一行代表一個主題在各個單詞上的分布；從第一主題模型中選取任意兩個主題組成主題對，并將至少一個主題對組成主題對集合，并確定主題對集合中每個主題對的兩個主題之間的相似度；將相似度大于相似度閾值的主題對進行合并生成第二主題模型；將第二主題模型進行格式轉換得到壓縮后的主題模型使得每一行代表一個單詞在各個主題上的分布。該實施方式實現了主題模型的快速高效壓縮，降低主題模型的存儲空間并且提高主題模型的計算效率。

技術領域

本申請涉及計算機技術領域，具體涉及人工智能技術領域，尤其涉及用于壓縮主題模型的方法和裝置。

背景技術

人工智能(Artificial Intelligence)，英文縮寫為AI。它是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。

主題模型(topic modeling)是一種常見的機器學習應用，主要用于對文本進行分類?！半[含狄利克雷分布”(Latent Dirichlet Allocation，LDA)模型和“概率隱語義分析”(probabilistic Latent Semantic Analysis，pLSA)模型等重要的主題模型，廣泛應用于文本搜索，廣告推薦等領域。隨著互聯網的普及，主題模型的訓練數據也從過去小規模的文檔集，遷移到現今大規模的網絡語料庫。因此訓練數據變得更加復雜，詞表中單詞數量大幅增加，導致需要更大容量的主題模型，設置更多的隱含主題來抓起長尾的語義信息。但隨著主題數量的增加，也帶來了一些問題：1.不同主題之間存在較大的重復，這種冗余讓單個主題的可解釋性變差，以及整體模型的使用效率降低；2.訓練出來的模型參數過多，不僅帶來存儲上的困難，還使得主題模型的后續計算負擔過于沉重。

發明內容

本申請的目的在于提出一種改進的用于壓縮主題模型的方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請實施例提供了一種用于壓縮主題模型的方法，該方法包括：獲取待壓縮的主題模型，其中，主題模型的每一行代表一個單詞在各個主題上的分布；將主題模型進行格式轉換得到第一主題模型，其中，第一主題模型的每一行代表一個主題在各個單詞上的分布，并且每一個主題上的單詞按照單詞在該主題上的數量由大到小的順序排序；從第一主題模型中選取任意兩個主題組成主題對，并將至少一個主題對組成主題對集合，并確定主題對集合中每個主題對的兩個主題之間的相似度；將相似度大于相似度閾值的主題對進行合并生成第二主題模型；將第二主題模型進行格式轉換得到壓縮后的主題模型，其中，壓縮后的主題模型的每一行代表一個單詞在各個主題上的分布。

在一些實施例中，確定主題對集合中每個主題對的兩個主題之間的相似度，包括：確定主題對集合中每個主題對的兩個主題上的單詞之間的杰卡德相似度。

在一些實施例中，確定主題對集合中每個主題對的兩個主題之間的相似度，包括：根據主題對集合中每個主題對的兩個主題上的單詞之間重復的單詞的概率確定相似度。

在一些實施例中，將相似度大于相似度閾值的主題對進行合并生成第二主題模型，包括：通過并查集算法確定非連接的主題集合；將非連接的主題集合內的主題進行合并生成第二主題模型。

在一些實施例中，在將第二主題模型進行格式轉換得到壓縮后的主題模型之前，該方法還包括：對于第二主題模型中的每個主題，確定每個單詞在該主題下的概率分布；從第二主題模型中刪除概率分布小于預定的概率閾值的單詞。