[發明專利]一種構建情感分類模型的方法

無效

• 申請號: 201410012464.4
• 申請日: 2014-01-10
• 公開（公告）號: CN103729459A
• 公開（公告）日: 2014-04-16
• 發明（設計）人: 周延泉
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本申請涉及信息機器學習領域，特別設計一種構建概率生成模型的方法。

背景技術

隨著當今網絡時代興起，用《紐約時報》的頭版把深度學習稱為人工智能革命性的一種新技術。有理由讓我們對深度學習進一步深入了解，作為一個復雜的“機器學習”的算法，在識別音頻和圖像準確率上，遠遠超過先前的技術。但也有充分的理由來懷疑這一觀點。雖然報道說，“深度學習讓機器執行人類的活動，如看、聽和思考，可以模式識別提供了可能性，促進了人工智能技術的進步。”深度學習讓我們向真正的智能機時代的邁進，也只是一小步。與即時實際應用相結合，深度學習是很重要的工作。

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學習是無監督學習的一種。其概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。深度學習的概念由Hinton等人于2006年提出。

深入學習根源于傳統的“神經網絡”，“神經網絡”可以追溯到20世紀五十年代后期。當時，弗蘭克·羅森布拉特試圖建立一種類似機械大腦的感知器，可以“感知，識別，記憶，像人的思維做出響應的機器”。在一定范圍內這個系統能夠識別一些基本的形狀，如三角形和正方形。人們對它的潛力寄予厚望。

但是測驗最終以失敗告終，由馬文·明斯基和他的合作者西摩帕爾特在一本書中指出，羅森布拉特設計的原系統是非常有限制的，從字面上盲目進行一些簡單的邏輯功能如“異或”。眾所周知，“神經網絡”的魅力很快消失了。

然而，在上世紀八十年代中期，當卡內基-梅隆大學的教授杰夫·欣頓幫助構建更復雜的虛擬神經元網絡，可以規避一些明斯基指出的難點，羅森布拉特的又一個想法再度出現。韓丁引入一個“隱藏層”的概念，“隱藏層”神經元允許新一代網絡有更復雜的學習功能（原始感知器無法處理的類似的異或功能）。然而新的模型也有嚴重的問題。訓練時間長，學習緩慢，效率低下，神經網絡又開始失寵。

然而，Hinton堅持不懈，在2006年做出了重大改進，提出深度學習，此項技術仍然被谷歌，微軟，和其他地方所應用。一個典型的設置是這樣的：一臺電腦面臨著一個大的數據集，需要對這些數據進行分類，這就像沒有沒有具體指令的情況下讓孩子對玩具進行分類。孩子可能對它們的顏色，形狀或功能，或其他的方面進行分類。機器學習者嘗試這樣做，例如數以百萬計的手寫體進行大規模學習，把這些手寫體數據相互對比，相似性的基礎上對他們“聚類”。深度學習的重要創新在于建立模型逐步學習，試圖確定下來低層次的分類，然后再嘗試學習更高級別的分類。

深入學習擅長于這類問題，被稱為無監督學習。在某些情況下，它的性能遠遠好過以前的技術。例如，它可以在一個新的語言對音節的學習識別優于早期的系統。但它仍然不夠好，當分類可能性的集合很大的情況下，在對象識別或分類情況下就顯得捉襟見肘了。大家常用的谷歌系統，但它仍可以識別訓練集不足六分之一的圖像，但是當圖像旋轉或圖像中的元素進行左右移動，給出的結果會更糟。

實際上，深入學習只是建設智能機器所面臨的巨大挑戰其中的一部分。這樣的技術缺乏因果關系的表示方法，可能面臨獲得抽象的概念的挑戰，如“兄弟姐妹關系”或“共同指代”。他們沒有明了的方式進行邏輯推理，和在整合抽象知識方面還有很長的路要走，如信息的對象是什么，信息歸什么類，以及如何使用信息。

基于深信度網絡提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，隨后提出多層自動編碼器深層結構。此外卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。

發明內容

有鑒于此，本發明的目的在于提供一種構建概率生成模型的方法，該方法能夠提高信息提取抽象計算的準確性。

為實現上述目的，本發明提供的技術方案為：

一種構建概情感分類模型的方法，該方法包括：

利用人工神經網絡的特點，假設其輸出與輸入是相同的，然后訓練調整其參數，得到每一層中的權重。自然地，我們就得到了輸入的幾種不同表示，這些表示就是特征。自動編碼器就是一種盡可能復現輸入信號的神經網絡。為了實現這種復現，需要使用自動編碼器捕捉可以代表輸入數據的最重要的因素，找到可以代表原信息的主要成分。