[發明專利]視覺信息輔助的即時通信方法及系統

有效

• 申請號: 201110441927.5
• 申請日: 2011-12-26
• 公開（公告）號: CN102567509A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 盧漢清;劉靜;蔣瑜;徐常勝
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L12/58
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周國城

技術領域

本發明涉及多媒體內容分析與理解領域，特別是一種視覺信息輔助的即時通信方法及系統。

背景技術

網絡時代，QQ、阿里旺旺等實時信息服務成為廣大網友首選的交流工具。實時信息服務有著方便，快捷，免費等諸多優點。然而本發明注意到當前的實時信息服務主要仍依靠文字媒介來傳遞信息，因此得到的信息普遍存在內容抽象性，形式單一性的特點。由此也帶來了一系列的問題，比如以下幾個方面：

(1)文字本身抽象性的特點決定了建立在傳統實時信息服務上的交流本身缺乏生動性和趣味性。傳統的實時信息服務也在不斷改善這方面問題，比如QQ可以發送一些圖標來表達一些情感。但是這些圖標必須人工操作選擇，而且數量有限，大部分局限于情緒的表達。雖然一定程度上增強了交流的趣味性，但是仍然不能讓人滿足。

(2)不同的年紀，不同的文化背景，不同的地域影響，不同的教育水平導致了用戶和用戶之間對事物的認識存在著很大的差異性。僅僅依賴文字的網上交流有時候會存在很多誤解。一個簡單的事例，當一個中國人和一個美國人聊起“football”的話題時，很可能會產生一段風馬牛不相及的對話。因為中國人認為“football”是英式足球，而美國人眼里的“football”則是橄欖球。這種認知上的差異經常會給交流帶來麻煩。

(3)對于很大一部分掌握一門外語的人來說，詞匯不足是他們共同存在的一個問題，甚至還有相當一部分人根本不懂得外語。在這樣一種情況下，通過實時信息服務與不同語言的人交流似乎看來不可行。當然，如今可以求助于機器翻譯，但機器翻譯做得仍不是那么完善，特別是在句子級別的翻譯。因此簡單地把機器翻譯模塊整合到實時信息服務仍不能滿足不同語言的用戶之間的交流。

俗話說“眼見為實”。如果視覺信息，即關于即時通信內容的圖示，能夠連同文本信息，一起傳達給用戶，相信可以極大地改善用戶使用實時信息服務的體驗。首先，毫無疑問，由于視覺信息具有生動性，即時通信本身將變得更有趣味性；同時，視覺信息的引入，可以很大程度上改善因為認知差異性帶來的交流障礙。當把英式足球的圖片展現在美國人眼前，再和他談了“football”的時候，他必然不會再誤認為橄欖球了。此外，視覺信息的引入能夠幫助不同母語的用戶進行溝通交流，一方面他們可以借助機器翻譯，另一方面圖片能夠直觀地傳遞部分信息，并彌補機器翻譯可能帶來的錯誤。

發明內容

基于以上的考慮，本發明提出了一種視覺信息輔助的即時通信方法及系統。

一方面，本發明提出一種視覺信息輔助的即時通信方法，其特征在于，該方法包括以下步驟：

步驟1，構建圖片數據庫；

步驟2，根據用戶輸入的文本信息提取語義關鍵詞，分析得出關鍵詞之間的語法關系；

步驟3，基于提取出的關鍵詞，利用上下文語義線索和圖片的顯著度從圖片數據庫選擇吻合即時通信上下文的語境的代表性圖片；

步驟4，利用關鍵詞之間的語法關系，合理排布代表性圖片，形成視覺信息，并連同所述文本信息一同傳遞給對方用戶。

另一方面，本發明還提出一種視覺信息輔助的即時通信系統，其特征在于，該系統包括：圖片數據庫構建模塊、對話分析模塊、代表性圖片選擇模塊和視覺排布模塊，其中，

所述圖片數據庫構建模塊，用于構建圖片數據庫；

所述對話分析模塊根據用戶輸入的文本信息提取語義關鍵詞，分析得出關鍵詞之間的語法關系，并將關鍵詞和語法關系分別發送給所述代表性圖片選擇模塊和所述視覺排布模塊；

所述代表性圖片選擇模塊基于所述對話分析模塊發送的關鍵詞，利用上下文語義線索和圖片的顯著度從圖片數據庫選擇吻合即時通信上下文的語境的代表性圖片，發送給所述視覺排布模塊；

所述視覺排布模塊利用關鍵詞之間的語法關系，合理排布代表性圖片，形成視覺信息，并連同所述文本信息一同傳遞給對方用戶。

不同于傳統的實時信息服務，視覺信息輔助的即時通信方法及系統不僅提供了文本信息，更融入了即時通信內容對應的視覺信息，同時將機器翻譯模塊整合其中。當不同母語的用戶使用本系統時，系統將給出機器翻譯結果和對應視覺信息。文本信息傳遞抽象概念，視覺信息傳遞形象概念，通過兩者的互補，幫助用戶更好地表達自己，理解對方。

此外，人們經常會需要去查詢過去的即時通信記錄。相比于傳統的實時信息服務，人們必須逐條查詢，本發明的即時通信記錄以圖文并茂的形式存在，人們只需一看記錄的視覺信息，便能更快喚醒過去的回憶。

附圖說明

圖1是本發明所提出的視覺信息輔助的即時通信方法及系統的結構框圖。