[發明專利]基于微博的輿論機器人系統情感分析和圖像標注的方法

在審

• 申請號: 201910350114.1
• 申請日: 2019-04-28
• 公開（公告）號: CN110321918A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 紀榮嶸;蘇勁松;劉宗岳
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/27;G06F16/35
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

基于微博的輿論機器人系統情感分析和圖像標注的方法，涉及情感分析和圖像標注。1、基于微博的情感傾向性分析模塊包括以下步驟：微博數據的特征抽取，多模態聯合模型的建模，情感傾向分類器；2、話題導向的圖像描述性文本生成模塊包括以下步驟：圖像數據特征處理，文本數據特征處理，話題導向的圖像描述性文本生成。通過所提出的方案能夠針對圖片生成與指定話題相關的一段文本，同時通過與微博服務器進行交互實現將生成的文本自動發布到微博的功能。

技術領域

本發明涉及情感分析和圖像標注，尤其是涉及一個從輸入所需要查詢和發布的話題到給出查詢的情感變化趨勢和輿論走勢結果并發布與該話題相關的微博的端到端(end-to-end)的全自動系統的基于微博的輿論機器人系統情感分析和圖像標注的方法。

背景技術

隨著互聯網社交媒體的大量普及和高速發展，將自己的日常生活、娛樂活動、社會工作以及輿論觀點等消息發布到網絡社交媒體上，已經成為了人們日常生活中不可避免的一個環節，舉一個新浪微博用戶數據的例子，到2017年9月為止，每個月活躍在新浪微博的用戶高達3.76億，日活躍用戶達1.65億(《2017年微博用戶發展報告》)。因此對于社交媒體上的情感分析以及基于圖片生成與某一話題相關的文本則成為了一項非常有意義的研究。同時，能夠讓計算機自動生成文本并實現自動發送，也是人工智能領域在社交媒體上的一大研究方向。

在不同的領域上，情感分析(sentiment analysis)的具體內容也有相應的不同，在社交媒體領域，情感分析主要是從社交網絡的輿論中挖掘出真實觀點和情感。以微博為例，一條微博包括了微博文本以及圖片，所以一條微博的情感也包括了文本和圖片兩部分的情感，因此基于新浪微博的情感分析任務是一項多模態的任務；而針對圖片生成描述性文本的任務則涉及到圖像標注(image caption)問題。同時，為了系統能夠自動運行并能模擬真實用戶進行微博相關操作，又涉及到了與服務器進行網絡通信的問題。通過解決了這三個部分的問題，從而實現了輿論機器人系統。

文本的情感分析這一問題是自然語言處理領域的一個分支，它包括了情感辭典、機器分詞、機器翻譯等相關內容。通過計算文本中每一個詞的情感傾向或者經過深度學習網絡得到文本的語意結構，從而獲得文本的情感。近年來，諸多學者機構對于文本的情感分析投入了大量研究，并構建了多個情感辭典和分詞機器，如知網提出的HowNet詞典，臺灣大學提出的中文情感極性詞典NTUSD，大連理工大學提出的情感詞匯本題庫，還有“jieba”和NLPIR的中文分詞工具等，斯坦福大學的自然語言處理第七課也詳細地介紹了情感分析，百度和騰訊也分別有推出支持API調用的情感分析的開發工具。

由于網絡的迅速發展，社交媒體(微博、Twitter、Instagram)上累積了越來越多的用戶上傳的包含用戶觀點和傾向的不同圖片，從這些圖片中獲得用戶的真實觀點以及情感的傾向一點點成為了熱門的研究問題。現如今越來越多的用戶會只發一張圖片來表達自己當前的情感傾向，沒有文本的來支持情感判斷，因此對圖片進行情感分析的需求更加的迫切。

基于圖片來生成文本，也就是圖像標注(image caption)也是關于社交媒體上的研究的一個重要領域。圖像標注是指從圖片的內容中自動生成出一段描述性的文字，機器需要檢測出圖片中包含的物體，同時還要需要理解各個物體之間的相互關系，最后還要用合理的文字表述出來。而社交媒體的出現無疑是為圖像標注提供了一個十分合適的數據集，因為用戶發布圖片的同時都會配上一句簡單的描述，相當于對圖片進行了標注，因此，如何讓生成的文本更像真實用戶發布的、如何讓生成的文本與特定話題相關等方向，則成為了社交媒體圖像標注中重要的問題。