[發(fā)明專利]用于通信的方法以及通信設(shè)備

無效

• 申請?zhí)枺?/td>: 200680025240.0
• 申請日: 2006-07-03
• 公開（公告）號: CN101268507A
• 公開（公告）日: 2008-09-17
• 發(fā)明（設(shè)計）人: T·波爾特萊;H·舍爾
• 申請（專利權(quán)）人: 皇家飛利浦電子股份有限公司
• 主分類號: G10L21/06
• 分類號: G10L21/06;G10L13/00
• 代理公司: 永新專利商標(biāo)代理有限公司
• 代理人: 王英

本發(fā)明涉及用于通信的方法以及通信設(shè)備，尤其涉及對話系統(tǒng)。

人機(jī)界面領(lǐng)域中的最新發(fā)展導(dǎo)致了通過設(shè)備和該設(shè)備的用戶之間的對話來進(jìn)行操作的技術(shù)設(shè)備的廣泛使用。一些對話系統(tǒng)基于視覺信息的顯示以及由用戶所做出的手動交互。例如，幾乎每個移動電話都是通過基于移動電話顯示屏中的顯示選項，以及用戶按下合適的按鈕以選擇特定的選項來操作對話而操作的。此外，存在基于語音的對話系統(tǒng)，或者至少部分地基于語音的對話系統(tǒng)，其允許用戶輸入與對話系統(tǒng)的口頭對話。用戶可以發(fā)出口頭指令并且從對話系統(tǒng)接收視覺的和/或可聽見的反饋。一個這種實例可以是家用電器管理系統(tǒng)，在其中用戶發(fā)出口頭命令來激活例如錄影機(jī)的設(shè)備。這些對話系統(tǒng)的共同特征在于用于記錄和處理聲音輸入，并且用于生成合成語音以及向用戶提供合成語音的音頻接口，該聲音輸入包括語音。除了上述對話系統(tǒng)之外，可以用另外的通信設(shè)備，該設(shè)備的特征在于用于向用戶報告信息的語音輸出，而不是用戶實際上可以輸入與該設(shè)備的對話。因此，以下，將能夠生成并且輸出合成語音的設(shè)備和系統(tǒng)稱為“通信設(shè)備”，從而對話系統(tǒng)是這種通信設(shè)備的特定地優(yōu)選的變體，因為對話系統(tǒng)在用戶和系統(tǒng)之間提供非常自然的雙邊交互。

做了許多嘗試，以通過同時顯示對應(yīng)的面部動畫，例如通過顯示合適的唇部運(yùn)動，來支持對合成語音的理解。從二十多年前就開始進(jìn)行研究，以將人為性狀的面部動畫與合成語音結(jié)合，從而創(chuàng)建人為的“說話的頭”。在支持說話動畫代理(talking?animated?agent)的市場上有若干產(chǎn)品。

重要的問題是語音與相關(guān)的唇部運(yùn)動的同步。對于更開放的聲音，例如/a/，嘴巴需要張開得很寬，對于其它聲音，例如/i/，嘴巴需要適當(dāng)?shù)亻]合，對于/u/，嘴巴閉合并且變圓，等等。如果同步成功，則合成語音易于理解，否則如果同步偏離，甚至?xí)兊酶y理解：例如，如果在聲學(xué)上合成了/b/，而在顯示屏上顯示了屬于/g/的唇部運(yùn)動，視覺刺激通常占主導(dǎo)作用，從而用戶更有可能錯誤地理解合成語音。

另一個問題是語音與相關(guān)的面部和身體姿勢之間的同步。盡管各文化之間存在差異，但是通常通過更高的語調(diào)和/或諸如抬起一個或者兩個眉毛、聳肩等等來強(qiáng)調(diào)重要的詞語。可以通過在句末提高語調(diào)，并且通過直接看著對話伙伴，通常伴隨著進(jìn)一步睜開眼睛，來強(qiáng)調(diào)提問。這里，正確的同步可以幫助理解，而同步“偏離”實際上會損害對合成語音的理解。

目前為止，類似的研究和商業(yè)發(fā)展集中于實現(xiàn)面部表情并且尤其是唇部運(yùn)動的更自然的舉止表現(xiàn)。

可用性實驗室中復(fù)雜并且昂貴的仿真顯示：如果語音與視覺提示之間的同步不完美(即，不對應(yīng)于來自人與人交流的經(jīng)驗)，將降低語音的可理解性。如果動畫性狀不足以反映聲學(xué)韻律(prosodic)提示，即與人的舉止表現(xiàn)不相似，該代理的用戶所做出的理解總體上將會更困難。

盡管進(jìn)行了許多研究，創(chuàng)建可信的多模代理的困難仍然存在。一個主要原因是由于交流在人類歷史中具有重要角色，人們對于面部表情以及其它非言辭的提示極其敏感。

因此本發(fā)明的目的是為了提供用于通信的方法以及通信設(shè)備，其對語音輸出提供一致的并且有支持力的視覺增強(qiáng)。

在根據(jù)本發(fā)明的用于通信的方法中，從通信設(shè)備聲學(xué)地輸出合成語音。與該合成語音輸出同時，發(fā)射光信號，其取決于輸出的合成語音的語義內(nèi)容。

本發(fā)明之下的實驗顯示出：通過對這種抽象語音表示的視覺化，增加了對于輸出合成語音的理解。特別地是當(dāng)用戶，即聽眾和觀眾，學(xué)習(xí)了如何同時解釋合成語音和光信號的情況下。通過觀察輸出信息之后進(jìn)行自動學(xué)習(xí)。特別當(dāng)輸出光信號與對應(yīng)于輸出合成語音的唇部運(yùn)動/面部姿勢之間不存在相似性時，可獲得本發(fā)明的優(yōu)勢。

本發(fā)明尤其基于以下知識：在視覺支持語音理解的過程中，重要的是避免在聲學(xué)上與輸出語音相沖突的輸出視覺信號，例如當(dāng)在顯示屏上視覺顯示屬于/g/的唇部運(yùn)動的同時，聲學(xué)上將/b/呈現(xiàn)給用戶。迄今，已知的方法都不能確保在視覺支持語音理解的過程中避免這種“陷阱”。只有現(xiàn)在才有可能用根據(jù)本發(fā)明的方法來避免這種陷阱。這還因為在第一次使用該方法之前，用戶沒有記住語音和輸出光信號之間的聯(lián)系，從而沒有錯誤理解的可能。

從屬權(quán)利要求以及后續(xù)描述特別地公開了本發(fā)明的有利的實施例和特征。