[發明專利]基于深度神經網絡與條件隨機場的對話行為識別方法

有效

• 申請號: 201410455219.0
• 申請日: 2014-09-09
• 公開（公告）號: CN104217226B
• 公開（公告）日: 2017-07-11
• 發明（設計）人: 胡清華;周玉燦
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/66
• 分類號: G06K9/66;G10L15/16
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 李麗萍

技術領域

本發明以機器學習和統計學習理論為基礎,通過利用多模態深度神經網絡學習條件隨機場中的特征函數,將多模態深度神經網絡與條件隨機場結合起來，構成了一種高效的適用于解決復雜序列學習問題的模型，最后將該模型用于漢語對話行為識別。

背景技術

對話行為(Dialogue acts,DAs)是Austin在1996年依據言語行為提出的，它在一定程度上反應了說話人的意圖，對于確定語句的語用信息具有重要意義。對話行為識別是計算機理解自然語言的關鍵步驟，在人機對話、交互式信息檢索、機器翻譯和交互式問答系統等眾多應用領域具有重要作用。

在研究使用機器學習算法解決對話行為自動識別任務時，面臨著以下幾方面的挑戰:

1)多模態特征學習,目前對話行為識別研究中主要用到了語言模型,韻律模型,句法信息以及其他(如:時長,能量等)信息,這些信息如何表達與整合是對話行為識別的一個基本問題。

2)類別的多樣性以及樣本分布的不均衡性，根據社科院語言所與中科院自動化所制定的標注體系，常用的對話行為標簽有三類：普通標簽集、中斷標簽集和特殊標簽集。其中普通標簽集包含13種對話行為，中斷標簽集有3種，特殊標簽集36種。即使只考慮第一類和第二類標簽集，樣本在這些類別上的分布也十分不均衡。在CASIA‐CASSIL語料庫中，63％左右的樣本的對話行為標簽是陳述，而感嘆、話語被打斷和話語的省略、丟失這些對話行為所對應的樣本數目非常少。

3)上下文語句的對話行為之間存在著統計依賴關系，語句的上下文信息對于決定當前語句的對話行為具有重要作用，如果當前語句的對話行為標簽是是非問，那么下一個語句的對話行為標簽很可能是陳述。

4)提取的特征與對話行為標記之間復雜的依賴關系，意圖識別是一個非常復雜的問題，即使像人腦這樣復雜的系統，在識別意圖時也是很困難的。對話行為識別雖然是意圖識別的簡化問題，但是利用機器學習的算法進行自動識別也是一項巨大的挑戰。

許多機器學習算法已經被用于對話行為識別任務。n‐gram是其中最簡單的方法，2006年Louwerse將該模型用于語句的文本信息與對話行為的相關性建模。貝葉斯分類器(Bayes classifier)與n‐gram類似，都是最大化語句屬于某類DA的條件概率，與n‐gram不同的是貝葉斯分類器適用于任意特征。2003年Levin等人提取語法特征，將貝葉斯分類器用于NESPOLE預料庫進行對話行為識別。2004年Grau等人將樸素貝葉斯分類器用于DAMSL‐switchboard預料庫，采用bag‐of‐words特征取得了66％的識別率。其他傳統的機器學習算法，如決策樹(Decision tree)、最大熵分類器(Maximum entropy)、人工神經網絡(Artificial Neural Networks,ANNs)和支持向量機(Support vector machine,SVM)也被引進到對話行為識別的研究中。2006年Surendran和Levow的工作證明在對話行為識別任務上，SVM模型的識別率要由于其他傳統的機器學習方法。

上述提到的方法都沒有考慮上下文語句的對話行為之間存在著統計依賴關系，而這種序列依賴關系對于決定當前語句的對話行為起到了重要作用。因此，我們需要一種相應的序列學習模型來解決對話行為識別問題。n‐gram是一種最簡單的序列學習模型，1995年Reithinger將該模型用于DA識別，之后1997年Lee等人對n‐gram的條件概率利用條件概率公式展開，使用該模型來輔助機器翻譯。但是如果使用n‐gram模型來刻畫語句對話行為之間的序列依賴關系，那么其他特征在該模型中就很難使用。于是一些研究人員又引入了隱馬爾科夫m模型(hidden Markov model,MM)，該模型雖然彌補了n‐gram的不足，但是它基于很強的獨立性假設，而在實際條件下這一假設通常很難得的滿足。

相對于隱馬爾科夫模型，條件隨機場(Conditional Random Fields,CRFs)沒有獨立性的嚴格要求。同時2000年Vapnik指出在有監督學習任務中，判別模型比生成模型具有更強的表達能力。因此，作為判別模型的條件隨機場應當比作為生成模型的隱馬爾科夫模型更適用于對話行為識別。但是，條件隨機場模型本身的特征學習能力很差，更無法有效地處理多模態特征。